Войти

#MoE

И инструменты ·17 июл 2026

Запуск 120-миллиардной нейросети на смартфоне: энтузиаст выжал 1-5 токенов в секунду из обычного Android

Разработчик заставил работать огромную языковую модель GPT-OSS-120B (60 ГБ) на смартфоне OnePlus с 11 ГБ оперативной памяти, используя только процессор — без GPU или NPU. Метод основан на потоковой загрузке экспертов из MoE-моделей прямо с накопителя в момент работы, что даёт в 14 раз большую скорость по сравнению с обычной загрузкой из памяти. Код открыт под Apache-2.0, есть готовое APK.

0 202
М модели ·16 июл 2026

Moonshot AI выпустила Kimi K3 — первую открытую модель на 2,8 триллиона параметров с контекстом в миллион токенов

Китайская Moonshot AI представила Kimi K3 — открытую MoE-модель с 2,8 трлн параметров, нативной поддержкой изображений и контекстом на 1 млн токенов. Модель использует новую архитектуру Kimi Delta Attention для ускорения работы с длинными контекстами до 6,3 раз и обходит конкурентов в задачах кодирования и работы с документами, хотя уступает топовым проприетарным моделям вроде Claude Fable 5 и GPT 5.6 Sol. Доступна через API по $3/млн токенов.

0 155
И инструменты ·16 июл 2026

Энтузиаст запустил 75B-модель Nemotron на двух RTX 3090 с полным контекстом 262K токенов

Пользователь Reddit смог запустить 75-миллиардную модель NVIDIA Nemotron-Labs-3-Puzzle на двух видеокартах RTX 3090 с полным контекстным окном 262K токенов. Ключ успеха — W4A16-квантизация (4-битные эксперты, 16-битная активация), правильная настройка аллокатора памяти CUDA и использование PIECEWISE-графов. Достигнута скорость ~94 токена/сек для одного запроса и 255 токенов/сек суммарно для четырёх параллельных.

0 115