GRASP: как научить нейросети планировать на тысячи шагов вперёд без взрыва градиентов
Исследователи из Berkeley представили GRASP — новый метод градиентного планирования для world models, который решает три ключевые проблемы долгосрочного планирования: взрывающиеся/исчезающие градиенты, застревание в локальных минимумах и хрупкость оптимизации. Метод использует виртуальные состояния для параллелизации по времени, добавляет стохастичность для исследования и переформирует градиенты, чтобы избежать проблем при работе с высокоразмерными визуальными моделями.
С ростом масштаба world models (типа Genie, JEPA) становятся универсальными симуляторами, но их нельзя эффективно использовать для планирования на горизонтах больше нескольких шагов. GRASP показывает путь к практическому применению таких моделей для реального управления и принятия решений.
Проблема долгосрочного планирования
World models — это нейросети, которые предсказывают будущее: дай им текущее состояние и последовательность действий, они покажут, что произойдёт. Математически это функция s_{t+1} = F(s_t, a_t), которую можно развернуть на T шагов вперёд.
Идея проста: чтобы робот достиг цели, оптимизируй последовательность действий через минимизацию ошибки на финальном шаге. Но на практике это работает только на коротких горизонтах.
Три фундаментальные проблемы
1. Взрывающиеся градиенты. Дифференцирование через T вложенных применений модели даёт произведение T якобианов: ∂/∂a₀ ~ (∂F/∂s)^T. Кондиционность растёт экспоненциально с горизонтом — как в классических RNN.
2. Негрединые ландшафты. На длинных горизонтах оптимальная траектория не может просто "идти к цели" каждый шаг — нужно обходить препятствия, отступать, перепозиционироваться. Размерность задачи оптимизации растёт как T×dim(A), создавая море локальных минимумов.
3. Хрупкость глубоких моделей. Градиенты через vision encoders (state-input градиенты) особенно нестабильны в высокоразмерных латентных пространствах.
Решение GRASP
Метод вводит три ключевых трюка:
- Виртуальные состояния: траектория "поднимается" в виртуальное пространство, что позволяет параллелизовать оптимизацию по времени вместо последовательной развёртки
- Стохастичность итераций: добавление шума напрямую в состояния помогает исследовать пространство и избегать ловушек
- Переформирование градиентов: сигналы для действий остаются чистыми, при этом избегаются хрупкие state-input градиенты через vision models
Это делает градиентное планирование с world models практичным на реально длинных горизонтах — там, где раньше методы стабильно ломались.
Ключевые выводы
- Планирование через world models на длинных горизонтах страдает от тех же проблем, что и обучение глубоких RNN: экспоненциальный рост/исчезание градиентов
- Размерность задачи оптимизации растёт линейно с горизонтом (T×dim действий), создавая критическую массу локальных минимумов
- Оптимальные долгосрочные траектории фундаментально негридны — требуют временных отступлений от цели, что ломает простую оптимизацию
- Градиенты через high-dimensional vision encoders особенно хрупки, требуют специального архитектурного решения
- Параллелизация оптимизации по времени через виртуальные состояния снимает последовательную зависимость, характерную для BPTT
Автор: Артём Ковалёв · Источник: bair.berkeley.edu
Это важная инженерная работа, которая делает world models наконец пригодными для практического планирования. Berkeley честно раскладывают три фундаментальные проблемы: экспоненциальный рост градиентов (привет, LSTM 2015 года!), комбинаторный взрыв локальных минимумов и хрупкость глубоких vision encoders.
Особенно ценно, что авторы не продают очередную "революцию", а методично показывают, где именно ломается наивный подход. Решение выглядит солидно: виртуальные состояния для параллелизации, стохастичность для exploration, умное переформирование градиентов. Это не breakthrough в духе Transformer, но критически важный шаг для целого класса задач. Если world models действительно станут универсальными симуляторами (на что намекают Genie и подобные), умение планировать через них — это ключ к их практическому использованию в робототехнике и агентах.
Комментарии