Механизм внимания
Также: attention, self-attention, селф-этеншн
Приём, позволяющий модели учитывать связи между всеми словами сразу.
Механизм внимания (attention) — ключевая идея трансформеров. Он позволяет модели при обработке каждого слова «смотреть» на все остальные слова и взвешивать, какие из них важны для смысла.
Именно attention дал скачок качества: модель понимает, что в фразе «он положил телефон на стол, потому что он разрядился» второй «он» — про телефон. Из статьи «Attention Is All You Need» (2017) выросли все современные LLM.