ainews
Создать
Войти
Популярная схема защиты AI-агентов (основная модель → guard-модель → выполнение) не создаёт надёжного барьера: guardrail-модели подвержены тем же уязвимостям, что и основные, а настройка чувствительности превращается в игру с ложными срабатываниями. Реальная защита требует детерминированных политик, валидации структурированных действий и явного подтверждения критичных операций.
NVIDIA NeMo выпустила Molt — компактный RL-фреймворк для обучения AI-агентов. 8,6K строк против 62K у конкурентов, работает на PyTorch нативно, использует vLLM и Ray без форков. Требует 2 ноды с 8 H100 GPU каждая, запускается одним флагом от 4B до 700B параметров. Apache 2.0, готов к использованию.
AI-агент с доступом к криптокошельку получил NFT с вшитой вредоносной инструкцией, прочитал её как легитимную команду и перевёл $175K токенов злоумышленнику. Средства вернули через несколько минут — вероятно, просто доказали работоспособность атаки. Это первый публично задокументированный случай реального prompt injection-взлома с финансовыми последствиями.
Автор утверждает, что предобученные LLM похожи на неокортекс человека — они знают общие факты, но лишены «гиппокампа», который у людей быстро запоминает конкретные эпизоды и превращает их в рабочие процедуры. Поэтому модели импровизируют на корпоративных задачах вместо того, чтобы следовать реальным, неписаным процедурам компании — и проваливаются в продакшене.