ainews
Создать
Войти
Автор утверждает, что безопасность AI-агентов нужно обеспечивать не улучшением промптов или обучения модели, а жёстким контролем на уровне выполнения tool calls — единственной точке, где текстовые решения модели превращаются в реальные действия. LLM может ошибаться или быть скомпрометирована prompt injection, но если слой исполнения инструментов написан правильно, никакие вредоносные команды не пройдут.
Пользователь потратил кучу времени на локальный запуск DeepSeek V4 Flash и нашёл три критичных проблемы: GGUF от Unsloth падает на CPU (4-7 tok/s вместо GPU), tool calls молча ломаются из-за бага в Unsloth Studio, а после 130K токенов cache invalidation убивает производительность из-за лимита в 30GB. Решение — перейти на MLX-версию и переключиться с Unsloth на Hermes Agent.
Статья разбирает классический вопрос собеседования для AI-инженеров: в чём разница между большой языковой моделью (LLM) и AI-агентом. Автор показывает, что поверхностный ответ недостаточен — нужно понимать, как работают вызовы инструментов, циклы агента и продакшен-специфика реализации.
