#локальные модели

И инструменты ·16 июл 2026

DeepSeek V4 Flash на бюджетном железе стал в 3 раза быстрее за неделю — с 2 до 7 токенов в секунду

Энтузиаст запустил 98-гигабайтную модель DeepSeek V4 Flash на скромной связке RTX 4060 Ti (16GB) + процессор AMD Ryzen 5 9600X. За неделю благодаря обновлениям llama.cpp скорость генерации подскочила с 2 до 7 токенов в секунду — CPU-генерация больших моделей становится реально пригодной для использования.

0 120
М модели ·15 июл 2026

Bonsai 27B: 27-миллиардная модель с рассуждениями, которая влезает в iPhone

Стартап PrismML выпустил Bonsai 27B — модель с 27 млрд параметров, которая умеет рассуждать, работать с изображениями и инструментами, но весит всего 3,9 ГБ и запускается на iPhone 17 Pro Max. Секрет — радикальное сжатие весов до 1-2 бит вместо стандартных 16. Apple уже тестирует технологию.

0 60