MoE
Также: mixture of experts, mixture-of-experts, смесь экспертов
Архитектура, где для каждого запроса включается лишь часть модели — быстрее и дешевле.
MoE (Mixture of Experts) — архитектура, где модель состоит из множества «экспертов», но на каждый запрос активируется лишь малая часть. Так огромные модели работают быстрее и дешевле при том же качестве.
По этому принципу построены многие современные открытые модели — см. Модели недели.