NVIDIA выпустила NeMo AutoModel — надстройку над HuggingFace Transformers v5, которая ускоряет обучение MoE-моделей в 3,4-3,7 раза и экономит до 32% видеопамяти. Требуется лишь одна строчка импорта, API остаётся совместимым с HuggingFace. Библиотека добавляет Expert Parallelism, оптимизированные ядра и перекрытие коммуникаций с вычислениями.
Себастьян Рашка создал галерею из 45 архитектур LLM с визуальными карточками и объяснениями различных механизмов внимания (attention). Материал охватывает эволюцию от классического multi-head attention до современных оптимизаций вроде grouped-query attention и sliding window attention, с историческим контекстом и практическими примерами архитектур.
Mamba — альтернатива трансформерам на основе State Space Models (SSM). Обещает схожую производительность, но без квадратичного узкого места Attention: работает в 5 раз быстрее, масштабируется линейно и справляется с контекстом до миллиона токенов. Mamba-3B сопоставима с трансформерами вдвое большего размера.
