Извлечение системного промпта и утечка данных из AI-приложений
Системный промпт — это скрытый набор инструкций, который разработчики передают AI-модели. Он часто содержит критически важную информацию: API-эндпойнты, бизнес-логику, названия функций и доступы к внутренним системам. Извлечение промпта — одна из простейших атак на AI-приложения, позволяющая получить карту для дальнейших действий.
Специалистам по безопасности и разработчикам AI-приложений стоит понимать эту базовую уязвимость, чтобы защитить внутреннюю логику и предотвратить утечку критичной информации через LLM-интерфейсы.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Системный промпт содержит личность AI, правила поведения и знание о внутренних системах
- Извлечённый промпт может раскрыть API-endpoints, внутреннюю логику, бизнес-правила и административные функции
- Это один из наиболее доступных багов AI-безопасности для начинающих исследователей
- Успешное извлечение промпта даёт фундамент для последующих атак на систему
Елена Верещагина
Medium #llm
Читать оригинал
Комментарии