PrismML сжали языковую модель Qwen3.6-27B с ~54 ГБ до 3,9 ГБ с помощью 1-битной квантизации, сохранив ~90% производительности на бенчмарках. Модель Bonsai работает на iPhone 15 Pro Max через приложение Atomic Chat, используя всего 5,2-6,8 ГБ оперативной памяти даже при больших контекстах.
Пользователь Reddit смог запустить 75-миллиардную модель NVIDIA Nemotron-Labs-3-Puzzle на двух видеокартах RTX 3090 с полным контекстным окном 262K токенов. Ключ успеха — W4A16-квантизация (4-битные эксперты, 16-битная активация), правильная настройка аллокатора памяти CUDA и использование PIECEWISE-графов. Достигнута скорость ~94 токена/сек для одного запроса и 255 токенов/сек суммарно для четырёх параллельных.
Pluralis Research провели RL-пост-тренировку модели, где все роллауты генерировали 14 обычных маков в 4 странах через домашний интернет, а обновления градиентов делал один B200 на другом континенте. Синхронизация через Cloudflare R2 без дата-центров. Результат: на задаче поиска в биомедицине точность выросла с 29% до 63%.
PrismML выпустили Bonsai 27B — сжатую версию Qwen3.6-27B, которая работает в 1-битном (3.9 ГБ) и тернарном (5.9 ГБ) форматах. Модель сохраняет 89-95% точности оригинала, помещается в смартфоны и ноутбуки, поддерживает мультимодальность и контекст до 262K токенов. Релиз под Apache 2.0.
Стартап PrismML выпустил Bonsai 27B — модель с 27 млрд параметров, которая умеет рассуждать, работать с изображениями и инструментами, но весит всего 3,9 ГБ и запускается на iPhone 17 Pro Max. Секрет — радикальное сжатие весов до 1-2 бит вместо стандартных 16. Apple уже тестирует технологию.
