Войти

#оптимизация памяти

М модели ·30 июл 2026

Kimi K3 вошёл в топ-4 моделей мира: как китайцы обогнали DeepSeek по инженерии

Moonshot AI выпустила Kimi K3 — открытую модель, занявшую 4-е место из 580 в рейтинге Artificial Analysis (после Claude Opus 5, Fable 5 и GPT-5.6 Sol). Ключевые фишки: Delta Attention сжимает KV-кеш в 4 раза (27 ГБ вместо 105 для контекста на 1 млн токенов), новый алгоритм балансировки 896 экспертов (Quantile Balancing), и AgentENV — рантайм для обучения с подкреплением, создавший 51 млн песочниц с паузой траектории за 133 мс.

0 128
М модели ·22 июл 2026

Механизм GQA в архитектуре Qwen3

Техническое объяснение механизма группированного внимания (GQA) в модели Qwen3-0.6B. Автор разбирает, почему GQA решает проблему пропускной способности памяти при декодировании, как конкретно настроено соотношение голов внимания (16 query / 8 key-value), и какие операции устраняют несоответствие размерностей между Q и K/V тензорами.

0 125
М модели ·28 июл 2026

Apple показала архитектуру синтеза речи для Siri: 21 МБ памяти и в 16 раз быстрее реального времени

Apple опубликовала детали архитектуры синтеза речи для Siri Expressive Voices на базе AFM 3 Core Advanced. Новый detokenizer превращает семантические аудиотокены в речь, используя всего 21 МБ оперативной памяти и 329 МБ ассетов на устройстве. Работает в 16 раз быстрее реального времени на Apple Matrix Coprocessor (AMX), улучшает качество голоса на +0.28 MOS. Три компонента (streaming encoder, temporal decoder, depth decoder) разделяют обработку времени и глубины, один универсальный декодер заменяет кучу специализированных.

0 61
И инструменты ·25 июл 2026

Как запустить 480-миллиардную модель на MacBook с 36 ГБ памяти — стриминг экспертов MoE с SSD

Разработчик форкнул llama.cpp, чтобы запускать огромные MoE-модели (до 480B параметров) на обычном MacBook, подгружая веса экспертов с SSD по требованию вместо загрузки всей модели в RAM. Qwen 35B выдаёт ~13-19 tok/s, даже 118B-модель работает на устройстве с 36 ГБ памяти. Приложение доступно как готовый .dmg для macOS, код открыт (MIT), все бенчмарки — включая провалившиеся эксперименты — опубликованы.

0 20