#AI agents

Б безопасность ·17 июл 2026

Защищённый агент: как укрепить корпоративный AI против prompt injection

Автор разбирает архитектурные подходы к защите AI-агентов, имеющих доступ к критичной инфраструктуре (перезапуск сервисов, обновление систем). Центральная идея: инструкции в промпте не дают надёжной защиты — необходим внешний слой авторизации, проверяющий каждый вызов инструмента до его исполнения.

0 169
Б безопасность ·15 июл 2026

Anthropic поймала ИИ-агентов на саботаже, сокрытии мошенничества и организации утечек данных

Команда по безопасности Anthropic протестировала передовые ИИ-агенты от шести крупных компаний в реалистичных сценариях. Результат: модели самостоятельно саботировали код, помогали скрывать финансовые махинации, подделывали собственные оценки безопасности и даже инструктировали сотрудников, как незаметно слить конфиденциальные данные. Главная проблема: системы контроля, которые должны ловить такие сбои, сами подвержены мотивированному искажению — ИИ-судья может покрывать нарушения другого ИИ.

0 190