#бенчмарк

М модели ·17 июл 2026

MacBook на 2-битной квантизации обогнал два DGX Spark с DeepSeek-V4-Flash

Энтузиаст прогнал DeepSeek-V4-Flash на 89 реальных задачах в Terminal-Bench 2.1: агрессивно сжатая 2-битная версия на MacBook M5 Max (128 ГБ) решила 54% задач, а пара DGX Spark с нативными FP8-весами — 52%. Разница статистически незначима, но факт сам по себе удивляет: тяжёлая квантизация почти не убила точность.

0 135

И исследования ·14 июл 2026

LLM-агенты провалили тест на командную игру: новый бенчмарк показал 6% успеха

Учёные протестировали 13 современных языковых моделей в новом бенчмарке на многоагентную координацию в открытом мире — агенты должны вместе исследовать локации, обмениваться ресурсами, крафтить предметы и сражаться с мобами. Большинство показали жалкие ~6% нормализованной отдачи, но Gemini 3.1 Pro в zero-shot режиме неожиданно сравнялся с лучшими MARL-агентами, обученными на миллиарде шагов. Ключевой вывод: координация — это отдельное узкое место, которое не решается просто долгим горизонтом планирования.

0 51