#рекуррентные сети

И исследования ·9 авг 2026

SupraElegans-500K: нейросеть без трансформера на 500К параметров вдохновлена червём C. elegans

SupraLabs выпустила экспериментальную языковую модель на 500К параметров без архитектуры трансформера: вместо attention используется разреженный рекуррентный граф нейронов с мембранным потенциалом, идея взята из нервной системы червя C. elegans. Модель токен за токеном обновляет состояние нейронов, не храня KV-кэш, и работает автогрессивно. Это научный эксперимент, не претендующий на качество больших моделей.

0 56

И исследования ·24 июл 2026

От рекуррентных сетей к трансформерам: что дальше?

Автор исследует философские и математические основы архитектуры Transformer, описанной в статье «Attention Is All You Need» (2017). Он утверждает, что фундаментальные идеи трансформеров не должны работать с точки зрения классической математики и теории вероятностей, но работают — и объясняет почему, а также что нужно изменить для приближения ИИ к человеческому уровню.

0 79