Thinking Machines Lab выпустила Inkling — MoE-модель на 975 млрд параметров с управляемыми «усилиями мышления»
Thinking Machines Lab представила Inkling — первую собственную модель с открытыми весами на базе Mixture-of-Experts (975 млрд параметров, 41 млрд активных). Модель поддерживает текст, изображения и аудио, работает с контекстом до 1 млн токенов и умеет управлять «усилиями мышления» — пользователь может выбирать, сколько токенов модель потратит на решение задачи, настраивая баланс качества, скорости и стоимости.
Inkling предлагает открытую альтернативу закрытым гигантам с уникальной фичей — настройкой «усилий мышления» прямо в рантайме. Это важно для разработчиков, которые хотят контролировать стоимость и скорость инференса без переобучения модели, а также для исследователей, ищущих базу для файнтюнинга под узкие задачи.
Что такое Inkling
Thinking Machines Lab выпустила Inkling — первую модель, обученную с нуля, с открытыми весами и возможностью дообучения на платформе Tinker. Это Mixture-of-Experts трансформер с 975 млрд параметров (41 млрд активных), поддерживающий контекст до 1 млн токенов. Предобучение прошло на 45 трлн токенов текста, изображений, аудио и видео. На вход принимает текст, картинки и звук, на выходе — только текст (UTF-8).
Параллельно анонсирована Inkling-Small — 276 млрд параметров, 12 млрд активных, которая на многих бенчмарках догоняет или превосходит старшую версию.
Архитектура
Модель построена на 66-слойном decoder-only трансформере с разреженным MoE-блоком: 256 маршрутизируемых экспертов + 2 общих на каждом слое. На токен активируется 6 маршрутизируемых и оба общих эксперта. Маршрутизация — сигмоидная, без вспомогательных потерь. Архитектура близка к DeepSeek-V3.
Внимание нестандартное: чередование sliding-window и глобальных слоёв в соотношении 5:1, 8 KV-головок, относительные позиционные эмбеддинги вместо RoPE (лаборатория утверждает, что экстраполируют лучше). Короткие свёртки применяются после проекций ключей/значений и в остаточных блоках.
Мультимодальность без энкодеров: аудио подаётся как dMel-спектрограммы, изображения — патчи 40×40 через четырёхслойный hMLP. Лёгкий эмбеддинг-слой проецирует оба формата, затем декодер обрабатывает их вместе с текстовыми токенами.
Обучение: оптимизатор Muon для больших матриц, Adam для остального, на системах NVIDIA GB300 NVL72. Пост-обучение стартовало с SFT на синтетических данных (включая Kimi K2.5), основной объём — асинхронное RL на 30+ млн роллаутов с линейно-логарифмическим улучшением.
Управляемые «усилия мышления»
Во время RL лаборатория варьировала effort (усилие) — меняя системное сообщение и цену за токен. Модель научилась тратить разное количество токенов на разные задачи. Параметр effort варьируется от 0.2 до 0.99, в Transformers доступен как reasoning_effort с именованными уровнями.
Эффективность: Inkling тратит на треть меньше токенов, чем Nemotron 3 Ultra, при одинаковом качестве на Terminal Bench 2.1. Стоимость и задержка настраиваются для каждого вызова, а не фиксируются на уровне модели.
Производительность
Все тесты — при effort=0.99, температура 1.0, лимит траектории 256K для кода. Часть результатов получена от Artificial Analysis.
Яркие моменты: - FORTRESS Adversarial: 78.0% — лучший результат среди open-weights моделей - AIME 2026: 97.1% - GPQA Diamond: 87.2% - SWEBench Verified: 77.6% - Terminal Bench 2.1: 63.8% (отстаёт от GLM 5.2 на 18.9 п.п.) - SimpleQA Verified: 43.9% (хуже DeepSeek V4 Pro) - Design Arena Agentic Web Dev: 1257 (человеческая оценка)
Запуск и дообучение
Вышли два чекпоинта: - BF16: минимум 2 ТБ VRAM (8× B300 или 16× H200) - NVFP4: от 600 ГБ (W4A4 на 4× B300 или W4A16 на 8× H200)
Поддержка: SGLang, vLLM, TokenSpeed, Unsloth, Hugging Face Transformers (5.14.0+).
Запуск через vLLM:
vllm serve thinkingmachines/Inkling --tensor-parallel-size 8
Дообучение: доступно на Tinker с контекстом 64K/256K, выпущены рендереры tml-renderers для пост-обучения с мультимодальными входами и tool calls.
Ключевые выводы
- Inkling — первая open-weights MoE-модель, где пользователь может напрямую контролировать «глубину мышления» и тем самым балансировать скорость, стоимость и качество
- Архитектура без отдельных энкодеров для изображений и аудио упрощает пайплайн и позволяет декодеру обрабатывать все модальности совместно
- На adversarial-тестах (FORTRESS) модель показывает топовый результат среди открытых аналогов, что важно для задач безопасности и защиты от джейлбрейков
- Меньшая версия Inkling-Small (276B) часто не уступает флагману — сигнал, что дистилляция и оптимизация архитектуры могут быть важнее простого масштабирования
- Модель обучалась с акцентом на «настраиваемость» — это база для кастомизации, а не готовый продукт
Автор: Артём Ковалёв · Источник: marktechpost.com
**Thinking Machines Lab замахнулась на то, о чём все говорят, но мало кто делает**: открытая модель, которую можно крутить как конструктор, и при этом с управлением «глубиной мышления» прямо на лету. Это не просто очередной релиз весов — это попытка дать разработчикам реальный контроль над trade-off между скоростью, стоимостью и качеством. На бумаге звучит отлично: на adversarial-тестах Inkling бьёт конкурентов, на некоторых задачах отстаёт, но главное — она гибкая.
Однако стоит держать ухо востро. Во-первых, **бенчмарки — это не реальная жизнь**: 78% на FORTRESS впечатляет, но 43.9% на SimpleQA Verified (фактическая точность) намекает, что модель может выдавать красивую чушь. Во-вторых, запуск требует серьёзного железа — минимум 600 ГБ VRAM даже в квантованной версии. Это не игрушка для энтузиастов на RTX, а инструмент для лабораторий и компаний с бюджетом. В-третьих, акцент на «настраиваемости» означает, что из коробки это **сырая база**, а не готовый продукт — придётся допиливать под задачу. Но если вам нужна открытая альтернатива закрытым гигантам и вы готовы инвестировать в файнтюнинг — Inkling заслуживает внимания.
Комментарии