ainews
Создать
Войти
Разработчик обучил с нуля три LLM (353M-672M параметров) и применил GRPO после SFT. Результат: самая маленькая модель почти не пострадала, средняя деградировала на 52% по perplexity, большая — на 5%. Закономерности по размеру модели нет. Модели научились решать арифметику, но не перенесли навык на GSM8K и начали генерировать бесконечно длинные тексты.
Zhipu AI выпустили GLM-5.3 — модель на ~750B параметров (втрое меньше Kimi K3), которая по кодингу догнала Claude Sonnet и GPT-4o. Секрет не в дистилляции, а в агрессивном post-training и скорости релизов: пока OpenAI и Anthropic месяцами тестируют модели, китайцы итерируются на бенчмарках в боевых условиях.
Исследователи предложили PIRL — подход к обучению с подкреплением, при котором модель после каждого обновления проверяет, стала ли она реально лучше. Практическая реализация PIPO добавляет двухфазный цикл: сначала обновление по стандартному алгоритму (PPO, GRPO и др.), затем ретроспективная проверка — если шаг помог, его закрепляют, если навредил — корректируют. Эксперименты показали рост точности и стабильности на задачах математики, кода и использования инструментов.
Автор объясняет, как работает пост-тренинг больших языковых моделей через обучение с подкреплением (RL), используя наглядную аналогию с деревом решений. Статья показывает, как модель учится перераспределять вероятности между токенами, чтобы максимизировать ожидаемую награду, и почему алгоритмы TRPO и PPO обновляют политику небольшими шагами.
NVIDIA NeMo выпустила Molt — компактный RL-фреймворк для обучения AI-агентов. 8,6K строк против 62K у конкурентов, работает на PyTorch нативно, использует vLLM и Ray без форков. Требует 2 ноды с 8 H100 GPU каждая, запускается одним флагом от 4B до 700B параметров. Apache 2.0, готов к использованию.
Исследователи сравнили 67 пар базовых и дообученных LLM, чтобы понять, как post-training меняет то, что модели рассказывают о своих «чувствах» и внутреннем опыте. Результат: после дообучения модели начинают описывать себя более тёплыми, счастливыми и вовлечёнными (persona installation), но избирательно признают недостатки и стресс (attribution gating) — причём крупные модели более «осторожны» в самопрезентации.
