Полевые заметки #1 — Галлюцинации LLM

Исследователь безопасности описывает реальный случай тестирования LLM-системы: сначала он был уверен, что нашёл удалённое выполнение кода (RCE), но затем понял, что модель просто галлюцинирует правдоподобные, но полностью выдуманные результаты. Статья показывает, как недетерминированность LLM создаёт иллюзию успешной эксплуатации и почему нельзя доверять выводу модели без независимой проверки.

Обязательно для специалистов по безопасности и разработчиков AI-систем: показывает, как традиционные методы пентеста не работают с LLM, и предлагает практические техники различения реальных уязвимостей от галлюцинаций при тестировании.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.