Модель на 27 миллиардов параметров запустили на iPhone — поместилась в 3,9 ГБ
PrismML сжали языковую модель Qwen3.6-27B с ~54 ГБ до 3,9 ГБ с помощью 1-битной квантизации, сохранив ~90% производительности на бенчмарках. Модель Bonsai работает на iPhone 15 Pro Max через приложение Atomic Chat, используя всего 5,2-6,8 ГБ оперативной памяти даже при больших контекстах.
Это первый практический пример запуска действительно большой языковой модели (27B параметров) на обычном смартфоне с приемлемым качеством. Показывает, что для многих задач можно обходиться без облачных сервисов, получая приватность и нулевые задержки.
Большая модель в кармане
Команда PrismML представила Bonsai — сжатую версию языковой модели Qwen3.6-27B, которая работает локально на iPhone. Секрет в радикальной оптимизации: вес модели сократили с ~54 ГБ до 3,9 ГБ благодаря 1-битной квантизации.
Как это работает
Используется настоящая бинарная квантизация (binary g128): каждый вес модели представлен одним битом (знаком), а на каждые 128 весов приходится один общий масштабный коэффициент в формате FP16. Итоговое соотношение — ~1,125 бит на вес.
Особенность подхода — абсолютно все слои квантизованы в 1 бит, включая embeddings, проекции attention/MLP и языковую голову. Большинство других 1-битных схем оставляют некоторые слои в высокой точности для сохранения качества.
Что с производительностью
На 15 бенчмарках средний результат составил 76,1 против 85,1 у оригинальной FP16-версии — это сохранение ~89,5% качества. Математические задачи страдают меньше всего (91,7% от оригинала), а задачи на знания и рассуждения проседают сильнее (73,4 vs 83,2) — именно там модель теряет детали.
Потребление памяти: ~5,2 ГБ при контексте 4K токенов и ~6,8 ГБ при 100K токенов (с 4-битным KV-кэшем). Модель работает на iPhone 15 Pro Max с 8 ГБ оперативной памяти через приложение Atomic Chat.
Что это значит
Возможность запускать 27-миллиардную модель на смартфоне открывает путь к полностью автономным AI-ассистентам без зависимости от облачных сервисов. Да, качество снижается примерно на 10%, но для многих задач локальная работа без задержек может быть важнее абсолютной точности.
Ключевые выводы
- Настоящая 1-битная квантизация всех слоев (включая embeddings и language head) позволила сжать 27B-модель до 3,9 ГБ — в 14 раз
- Сохранено ~90% производительности: математика страдает меньше (91,7%), знания и рассуждения больше (73,4 vs 83,2)
- Модель работает на iPhone 15 Pro Max, потребляя 5,2-6,8 ГБ RAM в зависимости от длины контекста
- Отказ от высокоточных «escape hatches» для критичных слоёв — радикальный подход, нетипичный для 1-битных схем
- Локальная работа больших моделей на смартфонах становится реальностью, открывая путь автономным AI-ассистентам
Автор: Ксения Лаврова · Источник: reddit.com
**Это не просто «ещё одна оптимизация» — это смена парадигмы.** Модель на 27 миллиардов параметров, которая ещё вчера требовала серверного железа, теперь работает на телефоне в кармане. Да, PrismML пошли радикальным путём, квантизовав вообще все слои в 1 бит — обычно так не делают, оставляя критичные части в высокой точности. И да, 10% качества потеряно, причём именно там, где модель должна «думать» и помнить детали.
**Но посмотрите на цифры:** математика проседает всего на 8%, а вся модель умещается в 4 гигабайта и жрёт 5-7 ГБ оперативки на 100К контексте. Это открывает дверь к реально автономным AI-ассистентам — без отправки данных в облако, без задержек, без подписок. Для многих сценариев (код, текст, локальные задачи) это может оказаться важнее абсолютной точности GPT-4. Ждём тестов от независимых пользователей — пока это звучит как прорыв, но реальная польза покажется в бою.
Комментарии