Google выпустил DiffusionGemma — языковую модель, которая генерирует текст в 4 раза быстрее
Google DeepMind представила DiffusionGemma — экспериментальную open-source модель на 26B параметров (MoE), которая генерирует текст блоками, а не последовательно. На GPU она работает до 4 раз быстрее обычных LLM, но с компромиссами по качеству. Идея — для локальных интерактивных задач, где важна скорость, а не идеальная точность.
Если вы разработчик, строящий AI-приложения на локальном железе, это первая open-source модель промышленного масштаба, которая реально использует вашу видеокарту на полную. Пока что с компромиссами, но направление интересное — интерактивные AI-ассистенты могут стать заметно шустрее.
Печать вместо печатания
Google DeepMind выпустила DiffusionGemma — экспериментальную open-source модель (Apache 2.0), которая ломает привычную схему генерации текста. Вместо последовательного создания токенов, как в ChatGPT или Claude, она генерирует сразу целые блоки по 256 токенов. Результат: до 4x ускорение на GPU при локальном запуске.
Как это работает
Обычные LLM — как пишущая машинка: буква за буквой, слева направо. Это эффективно для облачных сервисов с тысячами запросов, но на вашей видеокарте железо простаивает, ожидая следующий токен.
DiffusionGemma переворачивает процесс. Она использует текстовую диффузию — подход из генерации изображений. Модель начинает с "шума" и за несколько итераций превращает его в осмысленный текст, обрабатывая весь абзац одновременно. Это загружает GPU полностью, как печатный станок вместо пишущей машинки.
Для кого это
Модель на 26B параметров (MoE-архитектура) построена на базе Gemma 4 с добавлением диффузионной головы. Она не для продакшна — Google честно говорит: autoregressive Gemma 4 остаётся стандартом по качеству.
DiffusionGemma — для исследователей и разработчиков, которым нужна скорость в реальном времени: - Интерактивное редактирование текста - Генерация и рендеринг кода на лету - Задачи с нелинейной структурой (например, игра в судоку, где каждый токен зависит от будущих)
Unsloth уже дообучил модель играть в судоку — задачу, где autoregressive модели буксуют из-за отсутствия двунаправленного внимания.
Компромиссы
Быстрее ≠ лучше. Google не раскрывает точные метрики качества, но намекает: есть trade-offs. На высоконагруженных облачных серверах ускорение исчезает, а стоимость растёт. Выигрыш — только при низкой нагрузке на одном ускорителе.
Но для локальных интерактивных сценариев — это может быть game changer.
Ключевые выводы
- Google применил диффузионные модели из генерации изображений к тексту — вместо последовательной генерации модель создаёт блоки по 256 токенов параллельно
- Ускорение до 4x достижимо только на локальных GPU при низкой нагрузке — в облаке с высоким QPS преимущество исчезает
- Модель open-source (Apache 2.0), 26B параметров MoE, но Google позиционирует её как экспериментальную, а не замену production-моделям
- Двунаправленное внимание позволяет решать задачи, где autoregressive модели терпят неудачу (пример: судоку, где каждый токен зависит от будущих)
- Trade-off явный: скорость в обмен на качество — точные бенчмарки не раскрыты
Автор: Ксения Лаврова · Источник: deepmind.google
**Интересно:** Google наконец-то применил диффузию к тексту на серьёзной модели, а не в лабораторных экспериментах. Это реальная попытка решить проблему, с которой сталкивается каждый, кто запускал LLM локально — видеокарта простаивает, ожидая следующий токен. DiffusionGemma загружает железо полностью, генерируя сразу блоками.
**С осторожностью:** Google молчит про качество. Нет ни одного бенчмарка в анонсе — только "есть компромиссы". Они честно говорят, что autoregressive Gemma 4 остаётся стандартом, а DiffusionGemma — для экспериментов. Плюс ускорение работает только на локальном железе с низкой нагрузкой — в облаке это бессмысленно и дороже. Но если вы делаете интерактивного AI-помощника для работы на вашем компе — стоит попробовать. Open-source, Apache 2.0, можно дообучать. Направление перспективное, даже если v1 сырая.
Комментарии