Модель на 27 миллиардов параметров запустили на iPhone — поместилась в 3,9 ГБ
PrismML сжали языковую модель Qwen3.6-27B с ~54 ГБ до 3,9 ГБ с помощью 1-битной квантизации, сохранив ~90% производительности на бенчмарках. Модель Bonsai работает на iPhone 15 Pro Max через приложение Atomic Chat, используя всего 5,2-6,8 ГБ оперативной памяти даже при больших контекстах.
0
155