ainews
Нейросети без умножений: как сократить энергопотребление AI в 1000 раз
Профессор из Техасского университета доказала, что нейросети можно строить не на миллиардах умножений, а на простых таблицах поиска (lookup tables). Результат: модели в 1000 раз меньше и быстрее при той же точности. Пока работает на медсенсорах и распознавании ключевых слов, но цель — заменить трансформеры в ChatGPT.
Если подход сработает на больших моделях — это шанс запустить полноценный AI на батарейке (смартфоны, носимая электроника, IoT) без облака. Сейчас — конкретная возможность делать продукты для медтеха и промышленности, где главное — автономность и приватность.
Что произошло
Лизи Джон из Техасского университета в Остине последние 5 лет развивает архитектуру weightless neural networks (нейросети без весов). Вместо миллиардов умножений входов на веса они используют бинарные таблицы поиска — по сути, готовые ответы вместо постоянного пересчёта.
В медицинских сенсорах (ЭКГ, ЭЭГ, давление) и распознавании активности эти сети потребляют в 1000 раз меньше энергии при сопоставимой точности. Лучшая индустриальная модель для распознавания ключевых слов тратит 5000+ наноджоулей на вывод — их версия укладывается в 42-79. Размер модели для одной задачи: 14 килобайт против 17 мегабайт у традиционных аналогов.
Команда уже реализовала прототип на FPGA (программируемой микросхеме), доказав, что такие сети могут работать прямо на носимых датчиках без передачи данных на сервер. Сейчас они заменили половину трансформера (multilayer perceptron) и нацелились на слой внимания (attention) — чтобы в перспективе пересобрать языковые модели типа GPT.
Автор: Сергей Ефимов · Источник: spectrum.ieee.org
Разработчикам. Можно делать тиньковые AI-модели для edge-устройств без GPU: 14 КБ вместо 17 МБ, inference на микроконтроллерах. Архитектура на lookup tables вместо матричных умножений — меньше кода, проще деплой на IoT/wearables. Уже есть открытые наработки для замены MLP-слоёв в трансформерах.
Бизнесу. Новый класс AI-чипов для носимой электроники и промышленных датчиков: обработка на устройстве (никакого облака), месяцы на батарейке, приватность из коробки. Потенциал в медтехе, умных домах, промышленном IoT — там, где сейчас либо дорого (специальные акселераторы), либо небезопасно (передача сырых данных).
Инвесторам. Если подход масштабируется на языковые модели — удар по рынку AI-акселераторов (NVIDIA, Google TPU). Ниша микро-AI (medical wearables, industrial sensors) готова к коммерциализации прямо сейчас: патчи для мониторинга здоровья, химические сенсоры с мгновенным анализом. Риск: пока нет замены слоя attention — без неё трансформеры не работают.
- Разработка AI-чипов для медицинских патчей и носимых датчиков: модели в 1000 раз легче = месяцы автономки на батарейке-таблетке
- SaaS для конвертации существующих моделей классификации (медицина, промышленность) в weightless-формат — автоматизация оптимизации
- Стартап на edge AI для промышленного IoT: химические сенсоры, контроль качества на производстве с обработкой на месте, без облака
- Консалтинг для медтех-компаний: встраивание AI в одноразовые/дешёвые устройства (пластыри, глюкометры, тесты)
- Если команда заменит attention-слой — open-source библиотека для сборки «лёгких GPT» под embedded-системы (роутеры, смартфоны без мощных чипов)
- Пока не заменён слой attention в трансформерах — значит, для языковых моделей подход ещё не доказан
- Работает на узких задачах (классификация, распознавание) — неясно, справится ли с генерацией текста/изображений
- Индустрия уже вложила триллионы в GPU/TPU под матричные умножения — переход на новую архитектуру = годы инфраструктурных изменений
- Если weightless-сети не покажут выигрыш на больших данных — останутся нишей для IoT, где конкуренция с ASIC-чипами (например, у Apple, Qualcomm)
Честно говоря, weightless neural networks звучат как идея из 80-х, которую просто довели до ума. И это прекрасно — иногда лучший способ решить проблему не в том, чтобы накидать ещё слоёв, а в том, чтобы вообще сменить базовую операцию. Команда Лизи Джон доказала работоспособность на узких задачах (медсенсоры, ключевые слова), и это уже деньги: медтех и промышленный IoT готовы платить за автономность и приватность.
Но вопрос на триллион долларов: заменят ли они attention-слой в трансформерах? Если да — это удар по всей индустрии AI-железа (NVIDIA, Google, Apple). Если нет — останется нишей для edge-устройств. Пока ставлю 70 из 100 на реальный impact, потому что даже в нише это меняет правила игры для wearables и IoT. Следим за публикациями по трансформерам — там решится судьба подхода.
Комментарии