модели 1 мин

Как Google запустила генеративную AI на смарт-часах

Google встроила локальную языковую модель в Pixel Watch, хотя часы имеют в сотни раз меньше памяти, чем телефон, и физически не могут долго работать на полной мощности из-за перегрева. Статья объясняет, какие три технических компромисса позволили уместить AI в столь ограниченное устройство.

Первый массовый пример on-device AI на носимых устройствах — кейс для разработчиков edge-моделей и демонстрация того, как крайние ограничения железа диктуют дизайн продукта, а не наоборот.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.

О чём статья

  • Модель сжата до нескольких сотен миллионов параметров (против миллиардов на телефоне) с квантизацией до 4 бит вместо 16-32
  • Runtime урезан до одной узкоспециализированной функции вместо универсального движка
  • Модель не ведёт диалог, а решает точечные задачи: сокращение уведомлений, варианты ответов, извлечение деталей из текста
  • Ограничения часов (десятки мегабайт памяти, перегрев без кулера, батарея размером с монету) требуют не масштабирования, а переосмысления архитектуры
Ксения Лаврова Medium #llm
Читать оригинал

Ещё по теме

Комментарии