исследования 31 июл 2026 1 мин

Дерево решений как метафора оптимизации политики в LLM

Автор объясняет, как работает пост-тренинг больших языковых моделей через обучение с подкреплением (RL), используя наглядную аналогию с деревом решений. Статья показывает, как модель учится перераспределять вероятности между токенами, чтобы максимизировать ожидаемую награду, и почему алгоритмы TRPO и PPO обновляют политику небольшими шагами.

Материал полезен тем, кто хочет понять механику пост-тренинга современных LLM без глубокого погружения в математику RL. Наглядная визуализация через дерево решений делает абстрактные концепции политик и value-функций более осязаемыми.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.

О чём статья

RL в контексте LLM: среда — генерация текста, политика — распределение вероятностей следующего токена, действие — выбор токена
Пример с деревом: при оптимизации политика увеличивает вероятность действий с высокой ценностью (с 0.4 до 0.75 для лучшего действия), повышая общее математическое ожидание награды
TRPO и PPO делают малые шаги обновления, потому что оценка новой политики требует траекторий от неё самой, но собирать их после каждого шага слишком дорого — используются данные старой политики, которые валидны только при небольших изменениях