Bonsai 27B: 27-миллиардная модель с рассуждениями, которая влезает в iPhone
Стартап PrismML выпустил Bonsai 27B — модель с 27 млрд параметров, которая умеет рассуждать, работать с изображениями и инструментами, но весит всего 3,9 ГБ и запускается на iPhone 17 Pro Max. Секрет — радикальное сжатие весов до 1-2 бит вместо стандартных 16. Apple уже тестирует технологию.
Это первый прецедент полноценной reasoning-модели на смартфоне, а не облегчённой версии. Если технология масштабируется, меняется экономика AI-агентов: они становятся дешёвыми, приватными и работают офлайн.
Модель размером с игру
Стартап PrismML, основанный выпускниками Калтеха, выпустил Bonsai 27B — языковую модель с 27 миллиардами параметров, которая влезает в iPhone. Обычно такая модель занимает ~54 ГБ, даже после стандартного сжатия — около 18 ГБ. PrismML ужал её до 3,9 ГБ (версия для iPhone) или 5,9 ГБ (для ноутбуков), сохранив 90-95% возможностей оригинала.
Основа — открытая модель Alibaba Qwen3.6-27B, но с радикальным подходом к квантизации: вместо 16 бит на параметр используется 1-2 бита. Фактически каждый вес модели хранится всего в 2-3 состояниях. Это позволяет запустить модель на iPhone 17 Pro Max с его ~6 ГБ доступной оперативной памяти для приложения.
Производительность и компромиссы
Меньшая версия (3,9 ГБ) генерирует ~11 токенов в секунду на iPhone, выдаёт около 67 000 токенов на полной зарядке (~672 токена на 1% батареи). Математика и код работают «практически без потерь», но распознавание изображений, следование инструкциям и работа с инструментами страдают сильнее.
Согласно CNBC, Apple уже тестирует технологию сжатия PrismML. Переговоры «на ранней стадии», но CEO стартапа Бабак Хассиби подтверждает интерес. Для Apple это важно: собственные модели компании отстают в бенчмарках, а новая Siri на WWDC 2026 построена на Gemini от Google. Самая мощная онбордная модель Apple требует минимум 12 ГБ RAM.
Зачем это нужно
PrismML ставит на локальные модели для агентов: сотни последовательных вызовов, контекст, приватные данные (скриншоты, документы), которые не должны покидать устройство. В облаке каждый токен стоит денег и добавляет задержку. На девайсе — нулевая стоимость и полная приватность.
Модель доступна под Apache 2.0, работает через MLX (Apple) и на NVIDIA GPU. PrismML поддержана Khosla Ventures, Google и Samsung, планирует применить технологию к серии Gemma.
Ключевые выводы
- Квантизация до 1-2 бит на параметр позволяет уместить 27-миллиардную модель в 3,9 ГБ с потерей всего 10% качества
- Локальный запуск решает проблему приватности и стоимости для агентов, делающих сотни последовательных вызовов
- Apple уже тестирует технологию сжатия — признак отставания собственных моделей и потребности в улучшениях
- Математика и код переживают экстремальное сжатие лучше, чем мультимодальные и агентные задачи
- iPhone 17 Pro Max с 12 ГБ RAM даёт приложению только ~6 ГБ — жёсткое ограничение для онбордных моделей
Автор: Артём Ковалёв · Источник: the-decoder.com
Это не просто «ещё одна модель на телефоне». PrismML показывает, что экстремальное сжатие до 1-2 бит работает не только для мелких моделей, но и для тяжеловесов с reasoning. 90% качества при уменьшении в ~14 раз — это впечатляет, особенно когда математика и код почти не страдают. Правда, мультимодальные задачи и агенты теряют больше, и это логично: там больше нюансов, которые теряются при такой агрессивной квантизации.
Интерес Apple — сигнал. Компания публично признаёт отставание (Siri на Gemini, зависимость от Nvidia в облаке), и чужая технология сжатия может закрыть дыру. Но главное не бенчмарки, а бизнес-модель: локальные агенты с нулевой стоимостью вызова и полной приватностью — это меняет правила игры для productivity-приложений. Если Bonsai окажется не лабораторным трюком, а рабочей базой для реальных продуктов, мы увидим волну «всегда включённых» ассистентов, которые не сливают данные и не разоряют на API-вызовах.
Комментарии