ainews
Ассоциативная память в нейросетях ломается не там, где думали: прямые измерения синапсов опровергли классическую теорию
Эксперимент на бинарной сети с 131k нейронов показал: при деградации памяти плотность синапсов НЕ падает (80-82% стабильно), хотя recall ухудшается в 3.7 раза. Проблема не в перегрузке весов, а в дрейфе идентичности — сеть начинает активировать конкурирующие паттерны вместо целевых. Классическая теория «интерференции весов» не объясняет реальное поведение.
Если деградация памяти в AI вызвана не перегрузкой весов, а дрейфом паттернов, все текущие стратегии масштабирования (больше параметров, больше данных) могут игнорировать ключевое ограничение. Важно для долгоживущих контекстов, агентов и retrieval-систем.
Что произошло
Независимый исследователь собрал разреженную бинарную сеть (131k нейронов, 1.07B синапсов на одной потребительской GPU M1 Pro) с прямым доступом к весам в каждый момент времени. Задача: проверить, правда ли ассоциативная память деградирует из-за накладывания паттернов в весовой матрице (классическая гипотеза интерференции).
Результат: нет. При росте нагрузки с 24 до 60 сохранённых паттернов устойчивый recall упал в 3.7 раза, но плотность функциональных синапсов внутри ассемблей (групп нейронов, представляющих паттерн) осталась стабильной на уровне 80.7-82.2%. Даже для нейронов, разделяемых между несколькими ассемблеями, плотность не падала, а росла (с 69.3% до 82.1%).
Отказ не связан с амплитудой сигнала или инициализацией извлечения — эти параметры оставались стабильными. Реальная причина: дрейф идентичности в структурированное окружение. При высокой нагрузке сеть начинает активировать не целевые нейроны, а те, что принадлежат конкурирующим ассемблеям. Множественность таких «чужих» нейронов выросла почти в 2 раза.
Реальная ёмкость: ~36 паттернов для устойчивого recall, ~200 для переходного. Код и данные открыты (Apache 2.0 / CC BY).
Автор: Сергей Ефимов · Источник: reddit.com
Разработчикам. Открытый код на GitHub показывает, как измерять внутреннее состояние сети в runtime без аппроксимаций — можно адаптировать для диагностики продакшн-моделей, где деградация recall не объясняется метриками loss. Бинарные ассемблеи на GPU дают прямой доступ к синаптической топологии.
Бизнесу. Результат указывает, что проблемы с памятью в AI-продуктах (например, retrieval-системах) могут быть не в объёме данных, а в архитектурных ограничениях на разделение паттернов. Решение — не просто «больше параметров», а переработка механизма извлечения.
Инвесторам. Фундаментальный вызов классической теории нейросетей — потенциал для патентов и новых архитектур памяти. Рынок систем долговременного хранения контекста (RAG, агенты) растёт, но текущие подходы игнорируют эту проблему.
- Разработать диагностический инструмент для production-моделей, который отслеживает дрейф идентичности в retrieval-системах в реальном времени
- Построить новый класс архитектур ассоциативной памяти с явным разделением конкурирующих паттернов (например, через attention с ограничениями на множественность)
- Консалтинг для компаний, строящих RAG-пайплайны: аудит деградации recall в долгоживущих контекстах
- Патентовать метод измерения синаптической плотности в runtime для бинарных/разреженных сетей
- Создать специализированный GPU-ускоритель для ассемблейных сетей с прямым доступом к весовой топологии
- Результаты получены на одной архитектуре (бинарные ассемблеи) и одной задаче (cued recall) — обобщаемость на трансформеры и LLM не доказана
- Эксперимент на 131k нейронов — на порядки меньше продакшн-моделей, масштабирование может изменить выводы
- Академическая новизна под вопросом: автор сам признаёт, что framing не нов, добавлена только экспериментальная проверка
- Отсутствие аффилиации и peer-review — результат не прошёл формальную валидацию
Это один из тех редких случаев, когда кто-то не просто погонял модельку и написал препринт, а реально измерил, что происходит внутри, пока система ломается. И выяснилось: классическая теория про интерференцию весов — красивая математика, но не то, что происходит в реальности. Сеть не теряет связи, она путает адреса.
Практическая польза пока под вопросом — это микроскопическая бинарная сеть, а не GPT-4. Но если паттерн обобщится на большие модели, вся индустрия retrieval и долгоживущих контекстов сидит на фундаментальной проблеме, которую не решить просто добавлением параметров. Автор честно признаёт ограничения (одна архитектура, одна задача, n=5), что редкость для независимых исследований. Код открыт, данные воспроизводимы — можно проверить самому. Если кто-то повторит на трансформерах и получит то же — это будет серьёзный звонок для всех, кто строит AI с памятью.
Комментарии