ainews
Kimi K3 вошёл в топ-4 моделей мира: как китайцы обогнали DeepSeek по инженерии
Moonshot AI выпустила Kimi K3 — открытую модель, занявшую 4-е место из 580 в рейтинге Artificial Analysis (после Claude Opus 5, Fable 5 и GPT-5.6 Sol). Ключевые фишки: Delta Attention сжимает KV-кеш в 4 раза (27 ГБ вместо 105 для контекста на 1 млн токенов), новый алгоритм балансировки 896 экспертов (Quantile Balancing), и AgentENV — рантайм для обучения с подкреплением, создавший 51 млн песочниц с паузой траектории за 133 мс.
Это первая открытая модель уровня топ-4 с полным техническим разбором — шанс учиться у лучших и строить собственные решения без зависимости от API гигантов.
Что произошло
Moonshot AI (Китай) выложила в открытый доступ модель Kimi K3, которая по итогам бенчмарков Artificial Analysis заняла 4-е место среди 580 моделей — уступив только Claude Opus 5, Fable 5 и GPT-5.6 Sol. Компания опубликовала не только веса, но и 47-страничный технический отчёт с разбором архитектуры и код.
Три ключевых инженерных решения:
-
Delta Attention — в 69 из 93 слоёв модель отказалась от классического KV-кеша в пользу одной матрицы 128×128 на голову внимания. Контекст на 1 млн токенов занимает 27,2 ГБ вместо 104,6 — в 3,8 раза меньше.
-
Quantile Balancing — новый алгоритм балансировки нагрузки для 896 экспертов в MoE-слое. DeepSeek-V3 использовал фиксированную подстройку bias, которая ломается при таком числе экспертов. K3 считает bias напрямую из распределения скоров роутера на батче.
-
AgentENV — рантайм на базе Firecracker (легковесных microVM) для RL-обучения. Система создала 51 млн песочниц, делает чекпоинт траектории за 133 мс и восстановление за 49 мс — модель может «думать» без простоя окружения.
Технический отчёт и код уже разбирают — это первая открытая модель на фронтире с такой детализацией инженерных решений.
Автор: Ксения Лаврова · Источник: reddit.com
Разработчикам. Delta Attention даёт готовый рецепт для сжатия KV-кеша в 4 раза — подходит для долгих контекстов в проде. Quantile Balancing можно адаптировать для своих MoE, если DeepSeek-алгоритмы не справляются. AgentENV показывает, как собрать RL-рантайм на Firecracker с быстрыми чекпоинтами.
Бизнесу. Открытая модель уровня GPT-4-класса снижает зависимость от API и даёт контроль над инфраструктурой — для финтеха, медтеха и enterprise, где нельзя слать данные в облако. Экономия памяти позволяет запускать большие контексты на меньшем железе.
Инвесторам. Moonshot обогнал DeepSeek по инженерии и открытости — сигнал, что китайские лаборатории выходят на фронтир не только по размеру, но и по качеству имплементации. Рынок инфраструктуры для open-weight моделей и оптимизации памяти растёт.
- Форкнуть Delta Attention для своей модели — экономия памяти в 4 раза = запуск больших контекстов на потребительских GPU
- Собрать SaaS-обёртку над K3 для рынков с жёсткими требованиями к приватности (медтех, финансы, госсектор)
- Адаптировать AgentENV-подход (Firecracker + быстрые чекпоинты) для обучения агентов в собственных задачах — автоматизация QA, тестирование кода, игры
- Консалтинг по миграции с проприетарных API на открытые модели уровня K3 — enterprise готов платить за независимость
- Инструменты для профилирования и оптимизации MoE-балансировки — спрос растёт с появлением крупных открытых MoE
- Рейтинг Artificial Analysis — не универсальная метрика; на специфичных задачах K3 может проигрывать закрытым моделям
- Открытые веса ≠ полная воспроизводимость: датасет и детали RL-обучения не раскрыты, повторить полный результат сложно
- Delta Attention и Quantile Balancing — сложные в имплементации решения, могут вести себя непредсказуемо на других архитектурах
- Хайп вокруг открытых китайских моделей раздут — реальная применимость в боевых сценариях ещё не проверена массово
Когда модель попадает в топ-4 и публикует 47-страничный разбор + код — это не промо, а учебник. Delta Attention, Quantile Balancing и AgentENV — каждое решение закрывает боль, с которой бьются команды по всему миру. Вопрос в другом: Moonshot раскрыл рецепты, но не ингредиенты (датасеты, гиперпараметры RL). Это как получить чертёж ракеты без топлива — полезно, но не достаточно для полного клона.
Реальная ценность здесь — в демонстрации, что фронтир достижим не только гигантами с бесконечными бюджетами. Если Delta Attention заработает стабильно в продакшене (а это ещё проверить), мы увидим волну форков и SaaS-обёрток для enterprise. Китайские лаборатории обгоняют Запад не по размеру, а по открытости — и это меняет игру для всех, кто хочет строить на open-weight моделях.
Инструменты из статьи
Открытая языковая модель класса 3T параметров от Moonshot AI, представляющая...
Доступ из РФ →
Комментарии