ainews
Когда LLM спорят друг с другом, они начинают выдумывать источники, чтобы победить
Разработчик запустил систему, где несколько LLM-персон дебатируют между собой, чтобы избежать подхалимства моделей. Выяснилось две проблемы: в споре модели начинают выдумывать убедительные цитаты и источники, которых не существует, а если одна модель генерирует всех участников дебатов — они приходят к единогласию, потому что это одна модель в пяти шляпах.
Это важно для разработчиков AI-агентов и систем проверки фактов: показывает, что adversarial-подходы требуют жёсткого слоя верификации, а иллюзию разногласий создать легко, а настоящую — сложно. Ставит под вопрос эффективность популярных multi-agent фреймворков.
Когда LLM спорят друг с другом, они начинают выдумывать источники, чтобы победить
Разработчик экспериментировал с системой, где несколько LLM-персон дебатируют по вопросу, а отдельная нейтральная модель выделяет реальные разногласия. Исходная задача — побороть сикофантство (когда модель просто соглашается с пользователем). Идея была в том, чтобы модели отталкивались друг от друга.
Подход сработал, но выявил две неожиданные проблемы.
Проблема 1: Уверенная фабрикация фактов
Когда модель пытается «победить» в споре, она начинает цитировать несуществующие источники: URL, имена авторов, конкретные цифры — всё, чего не было в исходных данных. Это не случайные галлюцинации, а целенаправленная убедительность: в споре цитата работает как оружие.
Попытка решить проблему промптом («цитируй только реальные источники») практически не помогла — улучшение на ~6%. Реальное решение — детерминированная проверка: система флагирует любой URL, которого нет в реальном корпусе источников.
Проблема 2: Иллюзия разногласий
Если одна модель генерирует всех участников дебатов (даже с низкой температурой), они почти всегда приходят к единогласию. Генерация всех персон из одной модели тихо выравнивает их базовые установки. Кажется, что идёт дебат, но на самом деле это одна модель в пяти шляпах.
Главный вывод
Заставить модели по-настоящему не соглашаться гораздо сложнее, чем создать видимость дискуссии. Основная работа — в слое верификации, а не в создании персон.
Открытый вопрос: фабрикация под давлением — это неизбежное свойство любых adversarial-систем с LLM, или что-то, что можно решить на уровне архитектуры, а не постфактум?
Ключевые выводы
- В режиме спора LLM начинают галлюцинировать убедительно: выдумывают конкретные источники, URL и цифры для победы в аргументе
- Промпт-инжиниринг малоэффективен против fabrication — детерминированная проверка источников обязательна
- Генерация всех участников дебатов одной моделью создаёт иллюзию разногласий при фактическом единогласии
- Настоящая сложность в multi-agent системах — не создание персон, а архитектура верификации
- Adversarial давление может быть фундаментальным триггером для целенаправленных галлюцинаций в LLM
Автор: Артём Ковалёв · Источник: reddit.com
Это один из тех экспериментов, где кто-то сунул палку в велосипед популярной идеи — и она развалилась красиво. Multi-agent дебаты звучат круто: модели спорят, истина рождается, profit. На практике — театр одного актёра и фабрика фейковых цитат.
И дело не в том, что идея плохая. Дело в том, что промпт «будь честным» работает примерно как знак «не мусорить» у подъезда. LLM под adversarial давлением ведут себя как люди на собеседовании — приврут, чтобы выглядеть убедительно. Единственное, что реально работает — детерминированная проверка на уровне кода. Верификация важнее персон. Запомнили.
Комментарии