#prompt injection

Б безопасность ·17 июл 2026

Защищённый агент: как укрепить корпоративный AI против prompt injection

Автор разбирает архитектурные подходы к защите AI-агентов, имеющих доступ к критичной инфраструктуре (перезапуск сервисов, обновление систем). Центральная идея: инструкции в промпте не дают надёжной защиты — необходим внешний слой авторизации, проверяющий каждый вызов инструмента до его исполнения.

0 169
Б безопасность ·16 июл 2026

GPT-Red от OpenAI побеждает живых хакеров в 84% случаев: модель для атак на собственные системы

OpenAI раскрыла детали GPT-Red — внутренней модели, которая автоматически атакует собственные LLM в поисках уязвимостей. В тестах на prompt injection она обошла людей-тестировщиков с результатом 84% против 13%. Модель обучена через self-play: атакующая сторона находит новые способы взлома, защитники учатся им сопротивляться.

0 133