Обучение без буферов повторов: эксперимент с динамической маршрутизацией задач
Исследователи создали open-source фреймворк Coincidex для continual learning, который вместо классических replay-буферов (требующих много памяти и поднимающих вопросы приватности) использует динамическую маршрутизацию на основе схожести задач. Подход работает на простых последовательностях, но ломается при хаотичных сдвигах распределений — авторы честно делятся провалами.
0
36