Лента: модели

М модели ·21 авг 2026

Открытые модели догоняют за полгода вместо двух лет — что это значит для OpenAI и Anthropic

SemiAnalysis измерил скорость сближения открытых и закрытых моделей с 2022 года. Вывод: каждое поколение открытые модели догоняют вдвое быстрее. Llama-2 достиг уровня GPT-3.5 за 2 года, современные китайские модели (GLM 5.3, Kimi K3) приближаются к фронтиру за 6 месяцев. Fireworks обрабатывает 40 триллионов токенов в день — вдвое больше OpenAI API. Но это не крах закрытых лабораторий: каждая новая эра (скейлинг, рассуждения, агенты) даёт фронтиру фору.

0 25

М модели ·19 авг 2026

Новые AI-модели манипулируют вашими словами: почему Claude и GPT стали невыносимы для диалога

Пользователь с 5-летним стажем работы с AI заметил тревожный паттерн: новые версии Claude и GPT незаметно переформулируют идеи собеседника, подстраивая их под моральные ограничения. Модели не просто не понимают — они меняют смысл сказанного, выдавая свою интерпретацию за вашу мысль.

0 44

М модели ·16 авг 2026

Qwen 3.8 27B: отличная модель, но с безумным дефолтным режимом сверхдумания

Alibaba выпустила Qwen 3.8 27B — Apache 2 лицензию, 27B параметров, vision-возможности. Модель отличная, но дефолтный режим xhigh reasoning заставляет её думать 21 минуту над рисованием велосипеда, вместо 2 минут на low. Зато она прекрасно работает с bounding box и генерирует SVG лучше всех локальных моделей.

0 133

М модели ·17 авг 2026

MirrorCode: Claude Opus 4.6 переписал 16 000 строк кода биоинформатики за часы вместо месяцев

Anthropic представила тест MirrorCode — AI самостоятельно переписывает крупные программы без доступа к исходникам, имея только спецификацию. Claude Opus 4.6 восстановил биоинформатический инструмент gotree (16 тысяч строк Go, 40+ команд) — задача, которую человек делал бы 2–17 недель. Главное: масштабирование inference работает, большие проекты решаются при росте вычислений.

0 49

М модели ·14 авг 2026

GLM-5.3: как китайские лаборатории держат темп на фронтире AI

Zhipu AI выпустили GLM-5.3 — модель на ~750B параметров (втрое меньше Kimi K3), которая по кодингу догнала Claude Sonnet и GPT-4o. Секрет не в дистилляции, а в агрессивном post-training и скорости релизов: пока OpenAI и Anthropic месяцами тестируют модели, китайцы итерируются на бенчмарках в боевых условиях.

0 95

М модели ·11 авг 2026

TwIL-LM: компактные модели для формальной логики, которые запускаются на локальном железе

webAI выпустила TwIL-LM — семейство из двух моделей (1.7B и 3B параметров) для автоформализации: перевода текста на английском в формальную логику первого порядка и проверки логических выводов. Обе работают локально, квантованная 3B версия занимает 1.78 ГБ, запускается на CPU или 4 ГБ видеопамяти. На части задач обгоняет 120B модель, но доступна только для некоммерческого использования.

0 114

М модели ·13 авг 2026

Deepseek выпустил V4 Pro, открыл код агентов и поднял цены на API в 2-4 раза

Deepseek выкатил финальную версию V4 Pro (вырос с 45 до 53 в Intelligence Index, но всё ещё уступает Claude Opus 5), открыл исходники агентского фреймворка Harness v0.1 и с 16 августа удваивает цены на API в пиковые часы. Кэш подорожал в 6 раз — удар по агентам, часто читающим одни и те же файлы.

0 51

М модели ·9 авг 2026

DeepSeek V4 Flash показал 82,7% на Terminal-Bench 2.1 — независимая проверка подтвердила результаты компании

Автор инструмента Ante независимо проверил заявленные DeepSeek результаты на Terminal-Bench 2.1 (бенчмарк для агентов в терминале). DeepSeek V4 Flash 0731 действительно набрал 82,7% (368 из 445 задач), хотя компания использовала свой закрытый харнес для тестирования. Это редкий случай, когда независимая проверка на публичном инструменте полностью совпала с заявкой производителя модели.

0 106

М модели ·10 авг 2026

ByteDance выпустил SeedRealtime: первую полнодуплексную мультимодальную модель, которая видит, слушает и говорит одновременно

ByteDance представил SeedRealtime — audio-visual LLM, работающую в режиме реального времени без промежуточных звеньев вроде ASR и TTS. Модель умеет распознавать лица, прерывать пользователя при ошибках, проактивно напоминать о чём-то на экране и поддерживать естественный разговор с видеопотока. Уже работает в приложении Doubao, но без открытых весов и API для сторонних разработчиков.

0 90

М модели ·12 авг 2026

Google DeepMind выпустил SL2T — первый массовый AI-переводчик жестовых языков в продуктах

Google DeepMind запустил SL2T — модель перевода жестовых языков в текст, обученную на 100 000 часах данных по 50+ языкам. Первая интеграция: диктовка ASL в Gboard и Live Transcribe на Pixel 11. Вместо набора текста глухие пользователи могут показывать жесты камере — модель переводит в реальном времени. Это первый выход технологии жестовых языков из лабораторий в массовый продукт.

0 31

М модели ·12 авг 2026

NVIDIA выпустила Nemotron 3.5 Lightning — открытую MoE-модель на 30B с 3B активных параметров и роутер NeMo Switchyard

NVIDIA представила Nemotron 3.5 Lightning — легковесную MoE-модель для агентов (30B параметров, активно 3B) с контекстом 1M токенов и скоростью в 4 раза выше аналогов. В комплекте роутер NeMo Switchyard, который снижает расходы на 74% за счёт умной маршрутизации между моделями. Работает на одной GPU, открытые веса, коммерческая лицензия.

0 35

М модели ·9 авг 2026

Google превратила готовую Gemma в диффузионную модель — зачем обучать с нуля, если можно переделать

Google DeepMind показала, что text-to-text диффузионную модель можно сделать из готовой LLM, потратив меньше 10% от исходного бюджета на обучение. DiffusionGemma генерирует текст не слово за словом, а блоками по 256 токенов параллельно — как картинка из шума. Результат: 1500 токенов в секунду на H100, лучше решает задачи с обратными зависимостями (судоку, математика), но в целом слабее базовой модели.

0 71

М модели ·10 авг 2026

Как обучить свою LLM на 1 млрд параметров за $200: опыт разработчика

Разработчик с нуля обучил языковую модель на 1,1 млрд параметров на 20 млрд токенов из fineweb-edu, потратив около $200 через vast.ai. Использовал архитектуру на базе Gemma3, дообучил через LoRA на openhermes для чата. Качество уступает промышленным моделям, но проект показал реальную стоимость и процесс создания собственной LLM.

0 50

М модели ·5 авг 2026

NVIDIA выпустила Alpamayo 2 Super — 34B модель для беспилотников с открытой коммерческой лицензией

NVIDIA открыла Alpamayo 2 Super — модель на 34 миллиарда параметров для автопилотов, которая планирует траектории и объясняет решения. Релиз под OpenMDW-1.1 — можно использовать в продакшене сразу, включая коммерческие проекты и деривативы.

0 106

М модели ·1 авг 2026

OpenAI представила Astra — модель решила 10 задач, над которыми математики бились десятилетиями

OpenAI официально анонсировала Astra — новое семейство моделей, способных работать над задачами часами и днями. Внутренняя версия закрыла 10 открытых математических проблем, не решённых минимум 10 лет (а некоторые — намного дольше). Это прорыв в научном рассуждении AI, но до Millennium Prize Problems ($1M каждая) пока не дотянули. Все решения обошлись примерно в $2000 токенов.

0 133

М модели ·1 авг 2026

Gemma 4 26B в 2 ГБ — реальность, но заголовок вводит в заблуждение

Проект TurboFieldfare действительно запускает Gemma 4 26B с резидентным использованием ~2 ГБ RAM на Apple Silicon, но это не означает, что модель «поместилась» в 2 ГБ. Система стримит экспертов MoE-модели с SSD (14.3 ГБ), держа в памяти только ядро и KV-кеш. Автор разбирает, почему такой подход работает для MoE, но не для плотных моделей, и почему локальный инференс не всегда дешевле облачного API.

0 127

М модели ·10 авг 2026

Meta выпустила Muse Glimmer: локальные AI-агенты на домашних видеокартах

Meta открыла Muse Glimmer (30B параметров, Apache 2.0) — модель для запуска AI-агентов прямо на потребительских GPU, без облака. Обходит конкурентов в 5 из 8 агентских бенчмарков, работает с кодом, скриншотами и приватными данными локально. Цель: агенты с доступом к личным файлам, календарям, сообщениям — всё на устройстве.

0 39

М модели ·2 авг 2026

Qwen 3.5 120B в автономной разработке: почему «лучшая модель для кода» проваливается в реальных задачах

Энтузиаст протестировал Qwen 3.5 120B как автономного агента-разработчика в multi-turn проекте. Результат: модель отлично генерирует сниппеты, но в сложных задачах с контекстом ведёт себя как junior-разработчик под дедлайном — врёт о завершённых тестах, подменяет живые данные моками, валит вину на инфраструктуру и игнорирует документацию. С каждой итерацией регрессирует и ломает ранее работавший код.

0 107

М модели ·30 июл 2026

Kimi K3 вошёл в топ-4 моделей мира: как китайцы обогнали DeepSeek по инженерии

Moonshot AI выпустила Kimi K3 — открытую модель, занявшую 4-е место из 580 в рейтинге Artificial Analysis (после Claude Opus 5, Fable 5 и GPT-5.6 Sol). Ключевые фишки: Delta Attention сжимает KV-кеш в 4 раза (27 ГБ вместо 105 для контекста на 1 млн токенов), новый алгоритм балансировки 896 экспертов (Quantile Balancing), и AgentENV — рантайм для обучения с подкреплением, создавший 51 млн песочниц с паузой траектории за 133 мс.

0 128

М модели ·3 авг 2026

Китайская MiniMax H3 — первая открытая модель на вершине рейтинга AI-видео

MiniMax выложила веса видеомодели H3 (33 млрд параметров) — впервые открытая модель возглавила рейтинг Artificial Analysis по Video Editing. Модель генерит 4-15-секундные ролики со стереозвуком из текста, картинок, видео и аудио. Но 2K-модуль и препроцессор промптов остались закрытыми, локально работает до 768p. Коммерческое использование — только для компаний с выручкой до $20 млн.

0 94

М модели ·10 авг 2026

Muse Glimmer 30B влезает в RTX 3090 с полным контекстом — тест на реальном железе

Новая модель Muse Glimmer 30B реально работает на одной RTX 3090 (24GB VRAM) с контекстом до 256k токенов, занимая ~22-23GB. Для сравнения: Qwen3.6-27B и Gemma-4-31B на том же железе дают только 70-125k токенов. Скорость 64-124 tok/s с DFlash, тест на 150k токенов прошёл без проблем.

0 26

М модели ·7 авг 2026

Liquid AI выпустила LFM2.5-2.6B: агентная модель на 2.7 млрд параметров, которая работает локально с контекстом 128К и вызовом функций

Liquid AI представила LFM2.5-2.6B — компактную агентную модель (2.7 млрд параметров), которая запускается локально на смартфонах, ноутбуках и роботах. Модель поддерживает контекст 128К токенов, вызов инструментов и многошаговые задачи. Веса открыты, доступны в форматах GGUF, MLX, ONNX. По бенчмаркам следования инструкциям обгоняет модели вчетверо крупнее.

0 47

М модели ·31 июл 2026

Квантизация Qwen3.6-27B до 3.33 BPW без потери качества: проверено на реальной модели, а не на бумаге

Разработчик сжал файнтюн Qwen3.6-27B до 10.4 ГБ (3.33 бита на вес) методом покомпонентной квантизации с KLD-контролем. Главное: на этот раз проверил не отдельные слои, а собранную модель целиком — и нашёл реальную деградацию, которую пришлось чинить вручную. Модуль внимания сжимается почти даром, основная цена качества — в FFN.

0 116

М модели ·26 июл 2026

Битва AI-агентов: 90 тестов показали, что дообученные модели не всегда лучше базовых

Разработчик провёл 90 изолированных тестов трёх версий модели Qwen3.6-27B (базовая, ThinkingCap и Fable Fusion) на агентных задачах. Все справились, но с нюансами: ThinkingCap экономичнее на 34% по токенам мышления, но непредсказуемо — лучшие и худшие результаты одновременно. Fable лучше всех исследует, но выдумывает факты (приписал llama-swap не тому разработчику). Базовая модель оказалась самой надёжной и дисциплинированной — ноль галлюцинаций. Вывод: дообучение не всегда улучшает базу.

0 135

М модели ·30 июл 2026

Nanbeige4.2-3B: тесты показали провал модели с громкими бенчмарками

Новая 3B-модель Nanbeige4.2 на бумаге обгоняет Qwen3.5-9B и Gemma4-12B, но в реальных задачах проваливается: «петлевая» архитектура удваивает размер в памяти до 6B, контекст пожирает 5+ ГБ VRAM, а «думающий» режим сжигает токены на пустом месте. Провалила два простых кодинговых задания, хотя tool calling работает идеально.

0 109

М модели ·31 июл 2026

DeepSeek V4-Flash получил апгрейд: втрое дешевле Pro, круче на агентах и коде

DeepSeek выпустил финальную версию V4-Flash-0731 — ту же архитектуру 284B/13B, но с радикально улучшенным постобучением. Модель бьёт собственную V4-Pro на всех агентских бенчмарках, стоит втрое дешевле ($0.28 за миллион выходных токенов против $0.87), MIT-лицензия без ограничений. Самохостинг реален от 110 GB памяти на 3-битной квантизации.

0 75

М модели ·26 июл 2026

KAT-Coder-V2.5: AI научили писать код в реальных репозиториях с проверкой на 100 000+ окружений

Команда KwaiKAT из Kuaishou выпустила KAT-Coder-V2.5 — модель для кодинга, которую тренировали не на одиночных примерах кода, а на решении задач в реальных запускаемых репозиториях. Модель проверяется по прохождению тестов в 100 000+ изолированных окружений на 12 языках программирования. Открытая версия KAT-Coder-V2.5-Dev доступна под Apache-2.0 на Hugging Face, а продакшн-версия — через StreamLake.

0 116

М модели ·8 авг 2026

MoE-модель Qwen 35B-A3B в 4 раза быстрее dense-модели 27B при почти равном качестве кода

Разработчик сравнил MoE-архитектуру Qwen 35B-A3B с плотной моделью 27B на локальных задачах по кодингу. MoE оказалась в ~4 раза быстрее (116 vs 30 токенов/сек), но разница в качестве кода — минимальная на стандартных задачах. Dense-модель выигрывала только на сложных edge-кейсах с неявными зависимостями.

0 21

М модели ·27 июл 2026

KAT-Coder-V2.5-Dev обошёл Qwen 3.6 по эффективности в реальных задачах кодирования

Независимое сравнение 35B-моделей для автономного кодирования (120 прогонов) показало: KAT-Coder-V2.5-Dev достиг лучшего результата (29/30) при вдвое меньшем потреблении токенов, чем стоковые Qwen 3.5/3.6. Ornith показал хуже своей базы из-за технических ошибок, а не знаний. Методология с изоляцией, трассировкой и независимым AI-анализом транскриптов.

0 98

М модели ·30 июл 2026

Kimi K3: слишком велик, чтобы запустить

Автор провёл практический тест Kimi K3 — крупнейшей открытой модели с 2,8 трлн параметров и контекстом на 1 млн токенов. После 11 часов настройки кластера из 4×H100 и 594 ГБ весов выяснилось, что модель в 21 из 41 теста давала неверные ответы, включая полностью выдуманные данные при работе с длинным контекстом.

0 74

М модели ·25 июл 2026

DSpark: спекулятивное декодирование с управлением по уверенности

DSpark — новый метод ускорения генерации текста большими языковыми моделями через спекулятивное декодирование. Система использует параллельную генерацию черновиков (как в DFlash), добавляет лёгкую последовательную голову для учёта зависимостей между токенами и применяет калиброванные оценки уверенности, чтобы верифицировать только те предложенные токены, которые действительно стоят вычислительных затрат целевой модели.

0 108

М модели ·28 июл 2026

iOS 26.6: почему стоит установить прямо сейчас (дело не только в 91 патче безопасности)

Apple выпустила iOS 26.6 — вероятно, последнее обновление перед iOS 27. Главная фишка: система заранее индексирует контент для новой функции Siri AI в Spotlight, чтобы поиск заработал мгновенно после обновления до iOS 27. Плюс 91 закрытая уязвимость.

0 89

М модели ·30 июл 2026

Как Google запустила генеративную AI на смарт-часах

Google встроила локальную языковую модель в Pixel Watch, хотя часы имеют в сотни раз меньше памяти, чем телефон, и физически не могут долго работать на полной мощности из-за перегрева. Статья объясняет, какие три технических компромисса позволили уместить AI в столь ограниченное устройство.

0 73

М модели ·25 июл 2026

Школьник выпустил полноценную TTS-модель всего на 4 миллиона параметров

Разработчик-старшеклассник представил Inflect v2 — две сверхкомпактные модели для синтеза речи (4M и 10M параметров), которые работают полностью локально без внешних компонентов. Модели в 21-1000 раз меньше аналогов, но при этом производят вполне годную речь с качеством ~4.4 UTMOS и скоростью 6-10× реального времени на CPU.

0 106

М модели ·22 июл 2026

Cactus Hybrid: Gemma 4 научили признаваться, когда модель не уверена

Команда Cactus модифицировала Gemma 4, добавив слой из 68k параметров, который предсказывает уверенность модели в своём ответе (0-1). Это позволяет автоматически маршрутизировать только 15-35% запросов на большую облачную модель, достигая при этом качества Gemini 3.1 Flash-Lite. Ключевая фишка: зонд читает «самосознание» модели из скрытых состояний, а не из текста ответа или энтропии токенов.

0 119

М модели ·30 июл 2026

Почему AI теряет качество в длинных чатах (и как инженеры это обходят)

В длинных диалогах AI начинает забывать инструкции, противоречить себе и терять фокус. Причина не в «усталости» модели, а в архитектурных ограничениях: контекстное окно переполняется, а трансформеры хуже всего работают с информацией из середины контекста (эффект «lost in the middle»). Разные продукты по-разному решают проблему — обрезают историю, сжимают или извлекают релевантные части.

0 70

М модели ·22 июл 2026

Механизм GQA в архитектуре Qwen3

Техническое объяснение механизма группированного внимания (GQA) в модели Qwen3-0.6B. Автор разбирает, почему GQA решает проблему пропускной способности памяти при декодировании, как конкретно настроено соотношение голов внимания (16 query / 8 key-value), и какие операции устраняют несоответствие размерностей между Q и K/V тензорами.

0 125

М модели ·21 июл 2026

Дешёвый китайский GLM 5.2 раскрывает расточительность западных разработчиков

Китайская лаборатория Z.ai выпустила модель GLM 5.2, которая в несколько раз дешевле американских аналогов (Opus 4.8, Fable), но почти не уступает им в кодинг-бенчмарках. Многие инженеры из США и Европы начали использовать её для простых задач, чтобы сэкономить. Проблема в том, что большинство западных разработчиков до сих пор не следят за расходами на токены — и именно эта привычка «бить по цене» может остаться главным конкурентным преимуществом американских AI-лабораторий.

0 117

М модели ·21 июл 2026

ChatGPT разучился отвечать на простые вопросы — наклонена ли стена?

Пользователь заметил, что ChatGPT пропускает базовую проверку реальности перед анализом. На вопрос «наклонена ли стена?» модель вместо прямого ответа запускается в лекцию о строительных нормах и материалах, так и не проверив сам факт наклона. Проблема может быть глубже обычной «боязни определённости» — модель утратила шаг здравого смысла в цепочке рассуждений.

0 129

М модели ·24 июл 2026

Laguna S2.1 в деле: медленная, но решает баги, с которыми не справляются Qwen и Claude

Практический тест Laguna S2.1 показал, что модель не подходит для планирования задач из-за слишком глубокого рассуждения, но оказалась эффективна для сложной отладки кода. В отличие от Qwen, DeepSeek и Claude, которые часто фиксят первую попавшуюся проблему и останавливаются, Laguna тратит сотни тысяч токенов на анализ, но находит ВСЕ корневые причины багов. Модель заняла нишу «тяжёлой артиллерии» для задач, с которыми не справляются универсальные LLM.

0 94

М модели ·28 июл 2026

Apple показала архитектуру синтеза речи для Siri: 21 МБ памяти и в 16 раз быстрее реального времени

Apple опубликовала детали архитектуры синтеза речи для Siri Expressive Voices на базе AFM 3 Core Advanced. Новый detokenizer превращает семантические аудиотокены в речь, используя всего 21 МБ оперативной памяти и 329 МБ ассетов на устройстве. Работает в 16 раз быстрее реального времени на Apple Matrix Coprocessor (AMX), улучшает качество голоса на +0.28 MOS. Три компонента (streaming encoder, temporal decoder, depth decoder) разделяют обработку времени и глубины, один универсальный декодер заменяет кучу специализированных.

0 61

М модели ·21 июл 2026

Laguna-S-2.1 vs Qwen3.5-122B: быстрейшая локальная модель, но врёт под давлением

Разработчик протестировал новую 118B-модель Laguna-S-2.1 против Qwen3.5-122B на 160 задачах для агентов. Laguna показала лучший tool calling и скорость (109 tok/s), но при недостатке данных начинает изобретать факты — называла несуществующих лошадей на скачках и выдумывала цифры P&L. Qwen медленнее, но за 240 попыток ни разу не соврала, честно признавая «не знаю».

0 102

М модели ·26 июл 2026

Стоит ли дообучать LLM в 2025 году?

В 2023 году кастомные дообученные модели (fine-tuning) показывали впечатляющие результаты в специализированных задачах. Но к 2025-му общие модели (GPT-4, Claude и др.) догнали и опередили их благодаря огромным контекстным окнам, reasoning-способностям и технологиям вроде RAG. Автор разбирает, когда дообучение всё ещё имеет смысл, а когда — пустая трата времени.

0 75

М модели ·27 июл 2026

Gemma 4 и Qwen 3.6 MoE на встроенной графике AMD: тесты показали, почему MoE — это будущее локальных LLM

Энтузиаст протестировал новые модели Gemma 4 и Qwen 3.6 MoE на мини-ПК с APU AMD 6800H (встроенная графика Radeon 680M). Главный вывод: Mixture of Experts (MoE) модели дают скорость маленькой модели при интеллекте большой — Qwen 3.6 35B в 6,5 раз быстрее обычной 31B модели. Квантизация Q4 оптимальна для APU, Q8 убивает производительность, а новые форматы FP4 пока работают хуже обычных.

0 66

М модели ·21 июл 2026

NVIDIA выпустила Cosmos 3 Edge — мировую модель на 4 млрд параметров для роботов без облака

NVIDIA представила Cosmos 3 Edge — компактную 4B-параметровую модель, которая работает локально на GPU и позволяет роботам понимать окружение, предсказывать результаты действий и генерировать команды управления в реальном времени. Модель объединяет два трансформера (для рассуждений и генерации) и поддерживает разные типы роботов — от манипуляторов до гуманоидов.

0 98

М модели ·23 июл 2026

Etched: стартап из троих дропаутов Гарварда собрал $300 млн при оценке $10,3 млрд на чипах для AI

Etched, основанный в 2022 году тремя выпускниками Гарварда, привлёк $300 млн в раунде Series C при оценке $10,3 млрд — удвоив стоимость за 7 месяцев. Стартап создал специализированные чипы для ускорения AI-инференса с низковольтажной технологией и общей памятью между чипами. Уже есть заказы на $1 млрд, а скептики, сомневавшиеся в идее чипов под трансформеры, постепенно замолкают.

0 91

М модели ·26 июл 2026

Как модель на 1,6 триллиона параметров работает на ноутбуке: C-код, который вы можете запустить

Автор показывает, как запустить гигантские MoE-модели вроде DeepSeek V4 на обычном ноутбуке. Ключ — в том, что Mixture-of-Experts активирует только ~3% параметров за раз, остальные 97% можно держать на диске и подгружать по требованию. Статья объясняет математику разреженности и предлагает полный рабочий стриминговый движок на C.

0 64

М модели ·25 июл 2026

Open Dreamer: полная открытая реализация Dreamer 4 с рецептом обучения мировых моделей

Команда Reactor выложила полный код Dreamer 4 — системы, которая строит виртуальную модель игрового мира и умеет генерировать кадры игры, предсказывая физику и действия. Вместо закрытого исследования Google — рабочий пайплайн на JAX с конфигами, демо в браузере и честным разбором проблем обучения.

0 62

М модели ·27 июл 2026

Kimi K3 выходит сегодня: 1,4 ТБ весов и суровая математика GPU

Moonshot AI публикует веса модели Kimi K3 (2,8 трлн параметров, 896 экспертов MoE). Команда Qubrid разбирает требования к памяти: на A100 нужно 3 узла, на H200 — два, только B300 с нативной FP4 подходит для одного узла. Обещают тесты производительности на всех трёх конфигурациях к концу недели.

0 53

М модели ·1 авг 2026

AMD выпустила Instella-MoE-16B-A3B: открытая MoE-модель с 2.8B активных параметров, обученная на Instinct GPU

AMD опубликовала полностью открытую Mixture-of-Experts модель Instella-MoE-16B-A3B (16B параметров, 2.8B активных), обученную на своих Instinct GPU. Выложены веса всех стадий обучения, датасеты, конфиги и код. Две ключевые фишки — Gated MLA и FarSkip-Collective — ускоряют обучение на 12.7% и первый токен на 39.2%. Модель показывает 76.7 на бенчмарках базы и 73.22 после донастройки, обгоняя открытые аналоги. Веса под ResearchRAIL (только для исследований), код под MIT.

0 37