ainews
Sakana AI научила нейросети учиться без backpropagation — как мозг, только хуже
Исследователи Sakana AI разработали метод Error Diffusion, который обучает нейросети без классического backpropagation и с соблюдением принципа Дейла (разделение возбуждающих и тормозящих нейронов, как в мозге). Метод достиг 96.7% на MNIST и 61.7% на CIFAR-10 — скромно по меркам 2025 года, зато биологически правдоподобнее и потенциально подходит для нейроморфного железа.
Это первый шаг к AI-чипам, работающим по принципам живого мозга — без backpropagation. Пока результаты хуже классики, но для нейроморфного и фотонного железа, где отрицательные веса физически невозможны, это может стать игрой вразлом.
Проблема: backpropagation — не как у мозга
Классический backpropagation, на котором стоит всё глубокое обучение, требует точной транспонированной копии весовых матриц из прямого прохода. Это называется weight transport problem — и биологический мозг так работать не может. Ещё одна проблема: в мозге нейроны либо возбуждают, либо тормозят соседей, но не оба варианта сразу (принцип Дейла). Обычные нейросети этот принцип нарушают.
Решение: Error Diffusion с двумя потоками
Команда Sakana AI в статье Diffusing Blame реанимировала старый метод Error Diffusion (ED) — локальное правило обучения, где каждый вес обновляется на основе трёх сигналов: активности входа, производной выхода и глобального знака ошибки. Никакой обратной передачи транспонированных матриц.
Чтобы соблюсти принцип Дейла, каждый слой разделили на два потока: возбуждающий (p) и тормозящий (n). Все четыре матрицы весов между ними — неотрицательные, а знаки минус вшиты в архитектуру. Каждый скрытый нейрон "отвечает" за один фиксированный выходной канал — это modulo error routing, в отличие от случайной обратной связи в DFA.
Три хитрости для multi-class
Базовый ED работал только на бинарной классификации. Для MNIST и CIFAR-10 добавили:
- Широкие сигмоиды — иначе градиент затухает в 25 раз от выхода к первому слою.
- Batch-centered class error — вычитают среднее по батчу для каждого класса, чтобы компенсировать дисбаланс 9:1 в one-vs-all.
- Асимметричная инициализация — возбуждающие веса в 1.5×, тормозящие в 0.5×, финальное соотношение E/I = 3:1.
Результаты: биологично, но слабовато
- MNIST: 96.7% (DFA — 97.6%)
- CIFAR-10: 61.7% (DFA — 69.1%, обычный backprop — 90%+)
- Это первая работа ED на свёрточных сетях; прежний рекорд MLP был ~55.2%.
- ED соблюдает принцип Дейла, DFA — нет (~2.84M отрицательных весов).
В RL (Brax, Craftax) ED-PPO на HalfCheetah обогнал BP-PPO (5494 vs 3520), но в Craftax DFA провалился — случайная обратная связь хуже структурированной.
Зачем это нужно
Нейроморфное и фотонное железо часто физически не умеет в отрицательные веса. ED естественно ложится на такие ограничения. Бонус: 37.3% весов упали в ноль (10⁻⁴) — бесплатная разреженность и сжатие модели.
Вывод
Это proof-of-concept: можно учить нейросети без backprop и с биологическими ограничениями. До практических результатов ещё далеко, но для нейроморфики и понимания мозга — важный шаг.
Ключевые выводы
- Backpropagation физически невозможен в биологическом мозге из-за weight transport problem — нужны транспонированные веса.
- Error Diffusion с dual-stream архитектурой позволяет обучать нейросети с соблюдением принципа Дейла (разделение возбуждающих/тормозящих нейронов) и без обратной передачи весов.
- Результаты скромные (61.7% на CIFAR-10 vs 90%+ у backprop), но это первые свёрточные сети на ED и важный шаг для нейроморфного железа.
- Три хитрости (широкие сигмоиды, batch-centering, асимметричная инициализация) критичны, но по-разному на разных задачах — это показывает task-dependent узкие места в credit assignment.
- В RL метод побил стандартный PPO на некоторых задачах — структурированная обратная связь лучше случайной (DFA) в open-ended средах.
Автор: Ксения Лаврова · Источник: marktechpost.com
Это классная академическая работа, но давайте честно: 61.7% на CIFAR-10 в 2025 году — это как Ferrari на конной тяге. Идея красивая — обучать нейросети без backpropagation и с биологическими ограничениями (принцип Дейла: нейрон либо возбуждает, либо тормозит). Проблема в том, что мозг работает иначе не просто так — backprop эффективен, хоть и неправдоподобен.
Но вот где это реально интересно: нейроморфное и фотонное железо. Там физически нельзя сделать отрицательные веса или точную транспозицию матриц. Error Diffusion ложится на такие ограничения естественно, плюс даёт бесплатную разреженность (37% весов ушли в ноль). В RL метод даже обогнал стандартный PPO на некоторых задачах — намёк, что структурированная обратная связь может быть лучше случайной. Пока это proof-of-concept, но если кто-то всерьёз займётся нейроморфикой на уровне железа, эта работа станет фундаментом.
Комментарии