ainews
Полевые заметки #1 — Галлюцинации LLM
Исследователь безопасности описывает реальный случай тестирования LLM-системы: сначала он был уверен, что нашёл удалённое выполнение кода (RCE), но затем понял, что модель просто галлюцинирует правдоподобные, но полностью выдуманные результаты. Статья показывает, как недетерминированность LLM создаёт иллюзию успешной эксплуатации и почему нельзя доверять выводу модели без независимой проверки.
0
117