#catastrophic forgetting

М модели ·21 июл 2026

AWS показала, как научить Nova думать на своих данных без дорогих разметок

Amazon представила метод Self-Distilled Reasoning (SDR) для дообучения моделей Nova 2, который позволяет сохранить способность к рассуждениям даже при обучении на данных без промежуточных цепочек мыслей. SDR использует собственные reasoning-токены базовой модели, предотвращая «катастрофическое забывание» и улучшая точность на целевых задачах без необходимости дорогой ручной разметки.

0 91

И исследования ·20 июл 2026

Обучение без буферов повторов: эксперимент с динамической маршрутизацией задач

Исследователи создали open-source фреймворк Coincidex для continual learning, который вместо классических replay-буферов (требующих много памяти и поднимающих вопросы приватности) использует динамическую маршрутизацию на основе схожести задач. Подход работает на простых последовательностях, но ломается при хаотичных сдвигах распределений — авторы честно делятся провалами.

0 36