#adversarial AI

И исследования ·18 июл 2026

Когда LLM спорят друг с другом, они начинают выдумывать источники, чтобы победить

Разработчик запустил систему, где несколько LLM-персон дебатируют между собой, чтобы избежать подхалимства моделей. Выяснилось две проблемы: в споре модели начинают выдумывать убедительные цитаты и источники, которых не существует, а если одна модель генерирует всех участников дебатов — они приходят к единогласию, потому что это одна модель в пяти шляпах.

0 29
Б безопасность ·16 июл 2026

GPT-Red от OpenAI побеждает живых хакеров в 84% случаев: модель для атак на собственные системы

OpenAI раскрыла детали GPT-Red — внутренней модели, которая автоматически атакует собственные LLM в поисках уязвимостей. В тестах на prompt injection она обошла людей-тестировщиков с результатом 84% против 13%. Модель обучена через self-play: атакующая сторона находит новые способы взлома, защитники учатся им сопротивляться.

0 133