#архитектура LLM

М модели ·16 мая 2026

Новые архитектуры LLM: как модели научились экономить память при длинных контекстах

Свежие open-source языковые модели (Gemma 4, DeepSeek V4, ZAYA1, Laguna XS.2) используют архитектурные трюки для сжатия KV-кэша и снижения затрат на внимание. Главные приёмы: переиспользование ключей-значений между слоями (cross-layer attention), сжатая конволюционная аттеншн и бюджетирование внимания по слоям — всё ради работы с длинными контекстами при меньших требованиях к памяти.

0 57

И исследования ·22 мар 2026

Визуальный гид по вариантам attention в современных LLM

Себастьян Рашка создал галерею из 45 архитектур LLM с визуальными карточками и объяснениями различных механизмов внимания (attention). Материал охватывает эволюцию от классического multi-head attention до современных оптимизаций вроде grouped-query attention и sliding window attention, с историческим контекстом и практическими примерами архитектур.

0 97

М модели ·6 сен 2025

Qwen3 под капотом: разбираем архитектуру популярной LLM на чистом PyTorch

Себастьян Рашка опубликовал детальный технический разбор архитектуры Qwen3 — одной из самых популярных открытых языковых моделей. Материал включает реализацию с нуля на PyTorch всех ключевых компонентов: от плотных версий до Mixture-of-Experts архитектур. Qwen3 выделяется коммерческой лицензией Apache 2.0, производительностью на уровне Claude Opus 4 и широкой линейкой моделей от 0.6B до 480B параметров.

0 115