LLM-агенты провалили тест на командную игру: новый бенчмарк показал 6% успеха
Учёные протестировали 13 современных языковых моделей в новом бенчмарке на многоагентную координацию в открытом мире — агенты должны вместе исследовать локации, обмениваться ресурсами, крафтить предметы и сражаться с мобами. Большинство показали жалкие ~6% нормализованной отдачи, но Gemini 3.1 Pro в zero-shot режиме неожиданно сравнялся с лучшими MARL-агентами, обученными на миллиарде шагов. Ключевой вывод: координация — это отдельное узкое место, которое не решается просто долгим горизонтом планирования.
Если мы хотим, чтобы AI-агенты решали реальные бизнес-задачи (от логистики до колл-центров), они должны уметь координироваться. Этот бенчмарк показывает, насколько далеко до этого, и даёт инструмент для измерения прогресса.
Новый бенчмарк показал: LLM не умеют работать в команде
Исследователи опубликовали новый бенчмарк для оценки многоагентной координации языковых моделей. В отличие от классических тестов, здесь агенты попадают в открытый мир с долгосрочными задачами: им нужно исследовать территорию, обмениваться ресурсами, крафтить инструменты, строить здания и сражаться с мобами — то есть координировать действия в реальном времени.
Результаты удручающие
13 современных LLM показали средний нормализованный результат всего ~6%. Это говорит о том, что координация в мультиагентных сценариях — отдельная и пока не решённая проблема. Модели могут планировать на длинном горизонте в одиночку, но стоит добавить необходимость работать с другими агентами — и эффективность рушится.
Неожиданный лидер
Исключение — Gemini 3.1 Pro в zero-shot режиме (без специальной тренировки). На самом сложном уровне он показал результат, сопоставимый с лучшими MARL-агентами (Multi-Agent Reinforcement Learning), которых обучали на 1 миллиарде шагов в среде. Это любопытный пример: иногда сырая языковая модель с большим контекстным окном и «здравым смыслом» может конкурировать с узкоспециализированными RL-системами.
Коммуникация — ключевой фактор
Авторы провели серию абляций (отключали разные компоненты) и выяснили: коммуникация между агентами вносит наибольший вклад в успех. Агенты, которые не обмениваются информацией явно, застревают в локальных оптимумах и дублируют работу.
Что доступно
- Статья: arXiv:2606.08340
- Проект с лидербордом: alem-world.github.io
- Код: GitHub
- Интерактивные трейсы: можно посмотреть, как агенты играли пошагово
Бенчмарк открытый, можно тестировать свои модели и сравнивать с baseline'ами.
Ключевые выводы
- Координация в мультиагентных сценариях — отдельное узкое место, не связанное с долгосрочным планированием в одиночку
- Gemini 3.1 Pro в zero-shot сравнялся с MARL-агентами, обученными 1 млрд шагов — LLM могут конкурировать с RL без специальной тренировки
- Коммуникация между агентами — ключевой фактор успеха в multi-agent задачах по результатам абляций
- Средний результат ~6% показывает, что современные LLM ещё далеки от эффективной командной работы
- Открытые среды с крафтом, строительством и боями — хороший полигон для тестирования координации агентов
Автор: Сергей Ефимов · Источник: reddit.com
**Это реально важное исследование, хотя подано сухо.** Все говорят о том, что GPT-4 и Claude умеют планировать на длинных горизонтах, решать сложные задачи. Но стоит запустить несколько таких агентов вместе — и они тупят как дети в песочнице: не договариваются, дублируют работу, игнорируют чужие действия. Средний результат 6% — это не «пока недотянули», это «провал по всем фронтам».
Зато Gemini 3.1 Pro без всякой тренировки показал себя как лучшие reinforcement learning боты, которых натаскивали миллиард итераций. Это намёк: может, дело не в том, чтобы учить агентов координации отдельно, а в том, чтобы дать им достаточно контекста и здравого смысла? Авторы честно говорят: коммуникация решает. Агенты, которые говорят друг с другом, выигрывают. Но почему-то большинство моделей либо не умеют в это «из коробки», либо их плохо промптят. В любом случае, бенчмарк открытый — можно идти ломать.
Комментарии