Визуальный гид по вариантам attention в современных LLM
Себастьян Рашка создал галерею из 45 архитектур LLM с визуальными карточками и объяснениями различных механизмов внимания (attention). Материал охватывает эволюцию от классического multi-head attention до современных оптимизаций вроде grouped-query attention и sliding window attention, с историческим контекстом и практическими примерами архитектур.
0
97
