Moonshot AI выпустила Kimi K3 — первую открытую модель на 2,8 триллиона параметров с контекстом в миллион токенов
Китайская Moonshot AI представила Kimi K3 — открытую MoE-модель с 2,8 трлн параметров, нативной поддержкой изображений и контекстом на 1 млн токенов. Модель использует новую архитектуру Kimi Delta Attention для ускорения работы с длинными контекстами до 6,3 раз и обходит конкурентов в задачах кодирования и работы с документами, хотя уступает топовым проприетарным моделям вроде Claude Fable 5 и GPT 5.6 Sol. Доступна через API по $3/млн токенов.
Это первая открытая модель такого масштаба с реально работающим миллионным контекстом и доступным API. Для разработчиков и исследователей — альтернатива дорогим проприетарным решениям в задачах с длинными контекстами: работа с кодовыми базами, многостраничная аналитика, воспроизведение исследований.
Архитектура для долгих контекстов
Moonshot AI выпустила Kimi K3 — первую открытую модель класса 3 триллиона параметров. Модель построена на разреженной MoE-архитектуре (Mixture-of-Experts): из 896 экспертов активируются только 16, что делает её эффективнее при том же качестве.
Главная фишка — Kimi Delta Attention (KDA): гибридный механизм внимания, который ускоряет обработку длинных контекстов до 6,3 раз. Вторая новинка — Attention Residuals (AttnRes), избирательно извлекающий представления по глубине модели и повышающий эффективность обучения на ~25%.
Вместе с улучшенными рецептами обучения и данными это даёт 2,5-кратный прирост эффективности масштабирования по сравнению с предыдущей Kimi K2.
Результаты в бенчмарках
Moonshot честно признаёт: K3 уступает топовым проприетарным моделям Claude Fable 5 и GPT 5.6 Sol в общей производительности. Но в своих тестах K3 лидирует:
- Program Bench: 77,8 (выше Fable 5)
- SWE Marathon: 42,0 (лучший результат)
- BrowseComp: 91,2 (с компрессией контекста)
- OmniDocBench (парсинг документов): 91,1
Однако проигрывает Fable 5 на FrontierSWE (81,2 vs 86,6) и HLE-Full (43,5 vs 53,3), а GPT 5.6 Sol — на DeepSWE (67,5 vs 73,0).
Доступ и применение
Модель доступна через API (совместима с OpenAI SDK) и продукты Kimi.com, Kimi Work, Kimi Code. Нативная мультимодальность позволяет работать с текстом, изображениями и видео в одной сессии.
Цены: - Cache-hit вход: $0,30/млн токенов - Cache-miss вход: $3,00/млн токенов - Выход: $15,00/млн токенов
В задачах кодирования cache-hit rate превышает 90%, что делает реальную стоимость близкой к $0,30.
Применение: репозиторные инженерные задачи с минимальным контролем, итеративная работа с кодом и скриншотами, воспроизведение исследований (20+ статей, 3000+ строк кода), глубокая аналитика (например, 42-летнее исследование ASIC с 11 000+ страниц).
Moonshot утверждает, что девять из последних 12 месяцев их модели устанавливали верхнюю планку размеров среди открытых моделей.
Ключевые выводы
- Kimi K3 — первая открытая модель класса 3T параметров, активирующая 16 из 896 экспертов
- Новая архитектура KDA ускоряет работу с миллионными контекстами в 6,3 раза, AttnRes повышает эффективность обучения на 25%
- Модель лидирует в кодинге и парсинге документов, но уступает топовым проприетарным моделям в сложных задачах
- API-доступ с кэшированием снижает реальную стоимость до $0,30/млн токенов при >90% cache-hit
- Нативная мультимодальность и контекст в 1 млн токенов открывают применение в долгосрочных инженерных и исследовательских задачах
Автор: Asif Razzaq · Источник: marktechpost.com
Наконец-то кто-то решил проблему длинных контекстов не костылями, а архитектурой. KDA — это не просто очередной трюк с вниманием, а системное решение: 6,3x ускорения на миллионе токенов — цифра, которую можно проверить. Moonshot молодцы, что не врут: да, мы крупнейшие среди открытых, но топовые проприетарки всё ещё впереди. Это честность, которой не хватает в мире AI-PR.
Практическая ценность? Высокая. Cache-hit >90% в кодинге делает цену $0,30/млн токенов реальной, а не маркетинговой. Для команд, работающих с большими кодовыми базами или многостраничной аналитикой, это первая открытая альтернатива, где контекст в миллион токенов — не фича на бумаге, а рабочий инструмент. OpenAI SDK compatibility — правильный выбор для снижения порога входа.
Но давайте без розовых очков: «лидирует в своих тестах» — это красная лампочка. Moonshot сама выбрала бенчмарки, сама запустила модели конкурентов, сама опубликовала результаты. Проигрыш Fable 5 на FrontierSWE и HLE-Full, GPT 5.6 Sol на DeepSWE — не случайность, а сигнал: в реальных задачах, где нужна не скорость, а качество рассуждений, K3 уступает. Открытость — это хорошо, но если модель всё равно слабее проприетарных и требует 64+ акселератора для нормального деплоя, кому она реально нужна кроме исследователей? Для продакшена выбор очевиден.
Комментарии