Коллапс модели: что происходит, когда ИИ учится на данных, созданных ИИ

Когда языковая модель обучается на собственных выходных данных, происходит постепенное сужение распределения — дисперсия падает, редкие и разнообразные примеры исчезают. К 10-му поколению модель теряет 97,2% вероятностной массы хвостов распределения, становясь узкой и однообразной, хотя формально остаётся корректной.

Исследователям и разработчикам LLM важно понять механику деградации моделей при рекурсивном обучении и необходимость активной курации данных для предотвращения коллапса разнообразия.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.