От рекуррентных сетей к трансформерам: что дальше?

Автор исследует философские и математические основы архитектуры Transformer, описанной в статье «Attention Is All You Need» (2017). Он утверждает, что фундаментальные идеи трансформеров не должны работать с точки зрения классической математики и теории вероятностей, но работают — и объясняет почему, а также что нужно изменить для приближения ИИ к человеческому уровню.

Статья будет интересна исследователям и архитекторам ИИ-систем, которые хотят понять глубинные философские и математические ограничения современных подходов к NLP и задуматься о путях развития архитектур нейросетей за пределами текущих парадигм.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.