ainews
Decoupled Descent: метод обучения нейросетей с гарантированным совпадением ошибок на трейне и тесте
Исследователь предложил алгоритм Decoupled Descent (DD), который решает классическую проблему расхождения train/test ошибок. Метод основан на теории approximate message passing и гарантирует, что обучающая ошибка асимптотически равна тестовой на каждой итерации. Пока работает только на стилизованных задачах с полным батчем, но открывает путь к автоматической остановке обучения и оптимальному подбору гиперпараметров.
0
56
