Открытые модели наступают: Gemma 4, DeepSeek V4, Kimi K2.6 и другие. Насколько они близки к закрытым лидерам?
В январе вышла серия мощных open-source моделей: Google Gemma 4 (Apache 2.0), DeepSeek V4-Flash, Xiaomi MiMo 2.5 Pro, Kimi K2.6 и GLM-5.1. Институт CAISI заявил, что разрыв между открытыми и закрытыми моделями растёт, но авторы Interconnects считают, что методика оценки устарела: бенчмарки не используют специализированные инструменты и промпты, которые раскрывают реальные возможности моделей.
Спор о реальном разрыве между открытыми и закрытыми моделями влияет на стратегии компаний: стоит ли платить за API закрытых моделей или можно полагаться на open-source. Если критики правы, стандартные бенчмарки маскируют реальную конкурентоспособность открытых моделей.
Месяц больших релизов
Январь 2025-го стал месяцем открытых моделей. Google выпустил Gemma 4 в четырёх размерах (4B, 9B, 31B и MoE 26B-A4B) под Apache 2.0 — наконец убрав юридическую неопределённость кастомных лицензий. DeepSeek представил V4-Flash (284B параметров, 13B активных) и Pro (1.6T-A49B), причём Flash оказался звездой, обогнав по соотношению качества и размера старшего брата.
Kitайские лаборатории не отстали: Kimi K2.6 от Moonshot AI укрепился в топе открытых моделей, показав особенно сильные результаты в долгих задачах (long-horizon). Xiaomi выпустил MiMo 2.5 Pro, который год назад только дебютировал, а теперь на равных конкурирует с Kimi и GLM. GLM-5.1 также обновился, сфокусировавшись на многочасовых задачах.
Poolside AI дебютировал с Laguna-XS.2 — компактной (33B-A3B) моделью для кодинга, удобной для локального использования.
Спор о разрыве
Центр стандартизации AI (CAISI) оценил DeepSeek V4 и заявил: разрыв между открытыми и закрытыми моделями растёт. Их Elo-рейтинг показал огромное отставание DeepSeek от американских лидеров, основанное на девяти бенчмарках.
Но авторы Interconnects возражают: методика устарела. Бенчмарки CAISI и Epoch AI используют упрощённые сетапы — фиксированный бюджет токенов, базовый bash, без специализированных инструментов (Claude Code, OpenCode) и кастомных промптов, с которыми модели реально обучаются.
Пример: тесты утверждают, что портирование кода на другой язык «невозможно», хотя на практике Bun портировали с Zig на Rust с миллионом строк изменений. По мнению авторов, честное сравнение требует раскрытия реальных возможностей моделей через их оптимальные инструменты.
По альтернативной метрике Epoch AI (ECI), разрыв стабилен — 3-7 месяцев отставания с момента выхода DeepSeek R1, а не растёт.
Вывод
Внутри самого издания Interconnects идёт дискуссия: один автор (Florian) считает открытые модели ближе к закрытым по реальной производительности, другой (Nathan) согласен с несовершенством бенчмарков, но верит в более значительный разрыв.
Ключевые выводы
- Январь 2025 — рекордный по количеству выпущенных открытых моделей от крупных лабораторий
- Google перешёл на Apache 2.0 для Gemma 4, устранив юридические риски кастомных лицензий
- DeepSeek V4-Flash (284B/13B активных) оказался сильнее старшей модели Pro по соотношению качество/размер
- CAISI утверждает, что разрыв открытых и закрытых моделей растёт, но их методика критикуется за упрощённые тесты
- Реальные кейсы (портирование Bun, long-horizon задачи) показывают, что открытые модели способны на то, что бенчмарки называют 'невозможным'
Автор: Ксения Лаврова · Источник: interconnects.ai
Это классический случай, когда методология оценки может радикально изменить выводы. CAISI запускает модели в упрощённом сетапе — как если бы вы тестировали Ferrari на грунтовке, а потом удивлялись, почему он не быстрее Lada Niva. DeepSeek V4 проваливается в их тестах на портировании кода, но в это же время реальные разработчики портируют миллион строк Bun с одного языка на другой. Что-то тут не сходится.
Важнее другое: за месяц индустрия получила Gemma 4 под Apache 2.0 (наконец-то нормальная лицензия от Google!), компактный и мощный DeepSeek V4-Flash, и китайские модели, которые реально тягаются с западными лидерами в долгих задачах. Если вы строите продукт на AI и до сих пор думали, что без GPT/Claude не обойтись — возможно, пора пересмотреть. Open-source не просто догоняет, он уже в одной весовой категории. Вопрос лишь в том, как правильно его готовить.
Комментарии