#attention mechanism

И исследования ·24 июл 2026

От рекуррентных сетей к трансформерам: что дальше?

Автор исследует философские и математические основы архитектуры Transformer, описанной в статье «Attention Is All You Need» (2017). Он утверждает, что фундаментальные идеи трансформеров не должны работать с точки зрения классической математики и теории вероятностей, но работают — и объясняет почему, а также что нужно изменить для приближения ИИ к человеческому уровню.

0 78

И исследования ·15 июл 2026

Новая архитектура внимания на FFT: 128K контекста на CPU ноутбука вместо GPU

Независимый исследователь разработал альтернативу стандартному механизму внимания в LLM — Wave Field, основанную на FFT-свёртке. Утверждает O(N log N) при обучении и O(1) при инференсе, что даёт 80+ токенов/сек на CPU ноутбука при контексте 128K токенов, где обычное внимание падает от нехватки памяти. Модель 130M параметров показывает ~47% в zero-shot бенчмарках против 26,5% у GPT-2 124M. Код открыт, автор просит независимое тестирование.

0 219