ainews
Создать
Войти
Когда языковая модель обучается на собственных выходных данных, происходит постепенное сужение распределения — дисперсия падает, редкие и разнообразные примеры исчезают. К 10-му поколению модель теряет 97,2% вероятностной массы хвостов распределения, становясь узкой и однообразной, хотя формально остаётся корректной.
Разработчик предлагает пайплайн для генерации данных на обучение рассуждениям: абстрактные задачи создаются учительской моделью или процедурно, переводятся в естественный язык, решаются формальными верификаторами, и только проверенные примеры попадают в датасет. Цель — избежать главной проблемы синтетики (однообразные шаблоны) и создать качественный корпус для дистилляции в малые открытые модели.
Каждый раз, когда выходит сильная открытая AI-модель, её обвиняют в «дистилляции» из GPT-4 или Claude. Автор разбирает, почему это миф: настоящая дистилляция требует доступа к внутренним вероятностям модели (logits), которых нет в публичных API. То, что называют «дистилляцией», — просто обучение на синтетических данных, что делают все лаборатории, включая OpenAI и Anthropic. Обвинения особенно часто летят в сторону китайских лабораторий, хотя их модели показывают реальные архитектурные улучшения.
Физический AI и робототехника страдают от нехватки данных, в отличие от языковых моделей. Симуляторы решают проблему: позволяют генерировать фотореалистичные данные, тренировать политики RL и тестировать роботов в тысячах параллельных миров на GPU. Обзор ключевых движков — MuJoCo (точная физика и контакты), MuJoCo Warp (GPU-ускорение для обучения) и Isaac Sim (OpenUSD, Omniverse, фотореализм).
