Bonsai 27B: модель на 27 миллиардов параметров поместилась в iPhone
PrismML выпустили Bonsai 27B — сжатую версию Qwen3.6-27B, которая работает в 1-битном (3.9 ГБ) и тернарном (5.9 ГБ) форматах. Модель сохраняет 89-95% точности оригинала, помещается в смартфоны и ноутбуки, поддерживает мультимодальность и контекст до 262K токенов. Релиз под Apache 2.0.
Это первая промышленная модель на 27B параметров, которая реально работает на потребительских устройствах без облака. Открывает массовые сценарии приватных AI-ассистентов — от coding copilot'ов до медицинских консультаций — там, где отправка данных на сервера неприемлема или невозможна.
Локальная модель уровня Claude — в кармане
PrismML представили Bonsai 27B — радикально сжатую версию Qwen3.6-27B, которая запускается на обычных ноутбуках и смартфонах. Вышло две версии под лицензией Apache 2.0:
- Тернарная (веса {−1, 0, +1}): 1.71 бит на параметр, 5.9 ГБ, сохраняет 94.6% точности
- 1-битная (веса {−1, +1}): 1.125 бит на параметр, 3.9 ГБ, сохраняет 89.5% точности
Для сравнения: оригинал в FP16 занимает 54 ГБ, а типичные «4-битные» квантизации — около 18 ГБ при фактических 5.2 битах на вес.
Как это работает
Архитектура модели не менялась — сжатие применили к ~24.8 млрд языковых весов. Каждый вес кодируется одним числом из набора (−1, 0, +1 или просто −1, +1), плюс одна FP16-шкала на группу из 128 весов. Это даёт сжатие в 9-14 раз относительно FP16.
Визуальная башня (0.46B параметров) хранится отдельно в 4-битном формате. Контекст — 262K токенов, что возможно благодаря тому, что 75% внимания в Qwen3.6 — линейное.
Производительность и практика
На 15 бенчмарках (reasoning mode) тернарная версия показала 80.49 против 85.07 у оригинала. Обычные 2-битные квантизации проваливаются: IQ2_XXS даёт 72.73, но на сложных задачах (AIME26, LiveCodeBench) падает до ~57 баллов. Bonsai держит качество ровнее.
Главное — память. На iPhone с 12 ГБ RAM приложение получает ~6 ГБ. KV-кэш съедает ещё ~4.3 ГБ (в 4-битном формате) на полное окно. 1-битная версия с кэшем на 100K токенов пикует на 11.6 ГБ — влезает в топовый телефон.
Скорость генерации на M5 Max: 66 токенов/сек (бинарная версия), на iPhone 17 Pro Max — 11 токенов/сек. На H100 — 104 т/с. Для ускорения PrismML добавили DSpark speculative decoding: на GPU даёт буст до 143 т/с.
Применение
- Локальные агенты на ноутбуке: тернарная версия обрабатывает код на 262K токенов
- Reasoning на телефоне: 1-битная версия жрёт 1% батареи на 672 токена
- Приватные workflow: данные не уходят с устройства
- Single-GPU serving: 27B-класс на карте с 24 ГБ
Модель поддерживает мультимодальность, tool calling и OpenAI-совместимое API. Запуск — через llama.cpp, MLX или готовый Docker.
Релиз доступен в репозитории PrismML с примерами и скриптами.
Ключевые выводы
- Bonsai 27B сжимает веса до 1-1.7 бит без переобучения с нуля, сохраняя 89-95% качества — радикально лучше обычных квантизаций
- Модель помещается в iPhone (3.9-5.9 ГБ + KV-кэш ~4 ГБ) и работает офлайн с приемлемой скоростью (~11 т/с)
- Тернарная версия обгоняет по плотности качества типичные «2-битные» сборки в 2+ раза, не проваливаясь на сложных задачах
- 262K контекст становится практичным благодаря linear attention в 75% слоёв и компактному 4-битному KV-кэшу
- Релиз под Apache 2.0 открывает путь для приватных локальных агентов с качеством уровня Claude 3.5
Автор: Артём Ковалёв · Источник: marktechpost.com
**Это не просто техническая эквилибристика — это сдвиг парадигмы.** Год назад локальные модели означали 7B-максимум с качеством «сойдёт для заметок». Сегодня PrismML засунули в телефон модель, которая спорит с Claude Sonnet на reasoning-задачах и переваривает контекст размером с диссертацию. И это не демо-трюк: Apache 2.0, готовые Docker'ы, OpenAI API из коробки.
Самое острое — не цифры на бенчмарках, а **что это меняет**. Врач теперь может запустить медицинского ассистента локально, не отправляя карты пациента в облако. Разработчик — держать code reviewer прямо в IDE без подписки. Модель жрёт 1% батареи на 672 токена — это значит, что на одном заряде iPhone вы пропустите через неё половину кодовой базы Linux. Да, на H100 будет быстрее. Но **необходимость в H100 испарилась** для 80% сценариев. Осталось дождаться, когда кто-то из больших игроков зальёт такую сборку прямо в iOS/Android. Ставлю — до лета.
Комментарии