Новые архитектуры LLM: как модели научились экономить память при длинных контекстах
Свежие open-source языковые модели (Gemma 4, DeepSeek V4, ZAYA1, Laguna XS.2) используют архитектурные трюки для сжатия KV-кэша и снижения затрат на внимание. Главные приёмы: переиспользование ключей-значений между слоями (cross-layer attention), сжатая конволюционная аттеншн и бюджетирование внимания по слоям — всё ради работы с длинными контекстами при меньших требованиях к памяти.
С ростом популярности AI-агентов и reasoning-моделей (которые держат в памяти многотысячные диалоги и цепочки рассуждений) умение эффективно работать с длинным контекстом становится критическим конкурентным преимуществом. Архитектурные оптимизации KV-кэша напрямую влияют на то, какие задачи модель сможет решать и на каком железе она запустится.
Битва за эффективность длинного контекста
В апреле–мае 2025 года вышла волна open-source LLM (Gemma 4, DeepSeek V4, ZAYA1, Laguna XS.2), и главный тренд — архитектурные оптимизации для работы с длинными контекстами. С ростом популярности reasoning-моделей и AI-агентов, которые держат в памяти тысячи токенов, размер KV-кэша (память для ключей и значений в механизме внимания) и пропускная способность памяти стали основным узким местом.
Cross-layer KV sharing (Gemma 4)
Gemma 4 E2B/E4B (компактные модели для мобильных устройств) применяют cross-layer attention: вместо вычисления отдельных проекций Key и Value в каждом слое, одни и те же K/V переиспользуются в нескольких слоях подряд. Это продолжение идеи GQA (Grouped Query Attention), где разные Query-головы уже делят одни KV-головы, но теперь экономия идёт ещё и по вертикали архитектуры.
В Gemma 4 E2B паттерн 4:1 — один набор KV на 4 слоя. Это радикально снижает объём кэша при длинных последовательностях, хотя и вносит компромисс в выразительность модели.
Сжатая конволюционная аттеншн (ZAYA1-8B)
ZAYA1 от 01.AI использует гибридный механизм внимания: в каждом блоке часть голов работает классически (full attention), а часть — через compressed convolutional attention. Сначала применяется свёртка с pooling для сжатия контекста, затем — обычное внимание на сжатом представлении. Это снижает квадратичную сложность аттеншена при сохранении доступа ко всей истории.
Attention budgeting (Laguna XS.2)
Laguna XS.2 вводит послойное бюджетирование внимания: каждому слою выделяется фиксированный «бюджет» токенов, на которые можно смотреть (например, 256, 512 или полный контекст в разных слоях). Это позволяет тонко балансировать между качеством и вычислительной эффективностью — ранние слои могут работать с сокращённым окном, а поздние — с полным контекстом.
mHC + сжатая аттеншн (DeepSeek V4)
DeepSeek V4 комбинирует Multi-Head Compressed attention (mHC) с разреженным вниманием. mHC сжимает K/V проекции через низкоранговое разложение (как в MLA), но добавляет дополнительные головы сжатия. Плюс DeepSeek использует послойные паттерны: часть слоёв — полное внимание, часть — разреженное (local или sparse attention), что даёт гибкость и экономию.
Зачем всё это?
Контекст reasoning-моделей и агентов может достигать десятков тысяч токенов. Без архитектурных хаков KV-кэш съедает гигабайты памяти, а квадратичная сложность аттеншена убивает скорость. Cross-layer sharing, сжатие и бюджетирование — это инженерные ответы на фундаментальное ограничение трансформеров, позволяющие масштабироваться вверх по контексту без пропорционального роста затрат.
Ключевые выводы
- KV-кэш стал главным узким местом для длинноконтекстных LLM — новые архитектуры атакуют его через переиспользование (cross-layer attention) и сжатие
- Gemma 4 E2B/E4B переиспользуют один набор Key/Value на 4 слоя, радикально снижая объём памяти
- ZAYA1 и DeepSeek V4 применяют гибридные схемы внимания: часть голов — полное, часть — сжатое или разреженное
- Laguna XS.2 вводит послойные «бюджеты» внимания, позволяя гибко балансировать качество и скорость
- Все эти трюки — не академическая экзотика, а необходимость для работы reasoning-моделей и агентов с длинными контекстами
Автор: Ксения Лаврова · Источник: magazine.sebastianraschka.com
**Архитектурная гонка вооружений в разгаре.** Раньше все гнались за размером модели, теперь — за эффективностью длинного контекста. Cross-layer KV sharing, сжатая аттеншн, послойные бюджеты — это не просто «оптимизации», это фундаментальный сдвиг в том, как проектируются трансформеры. Gemma 4, DeepSeek V4 и компания показывают: можно получить модель, которая держит в голове в разы больше истории при том же железе.
Почему это реально важно? Потому что reasoning-модели (o1, QwQ и т.д.) и агенты требуют огромных контекстов — десятки тысяч токенов на одну сессию. Без архитектурных хаков это превращается в бездонную яму памяти и VRAM. С ними — можно запускать на потребительском железе. Правда, детали реализации пока что разбросаны по техническим отчётам (часто неполным), и не все трюки работают одинаково хорошо на практике. Но направление задано: эра "просто добавь слоёв" закончилась, началась эра "сделай каждый слой умнее".
Комментарии