GRASP: как научить нейросети планировать на тысячи шагов вперёд без взрыва градиентов
Исследователи из Berkeley представили GRASP — новый метод градиентного планирования для world models, который решает три ключевые проблемы долгосрочного планирования: взрывающиеся/исчезающие градиенты, застревание в локальных минимумах и хрупкость оптимизации. Метод использует виртуальные состояния для параллелизации по времени, добавляет стохастичность для исследования и переформирует градиенты, чтобы избежать проблем при работе с высокоразмерными визуальными моделями.