TRACE от Stanford: система, которая превращает провалы AI-агентов в персональные тренажёры для каждого недостающего навыка
Исследователи из Stanford выпустили TRACE — open-source систему, которая анализирует, где именно проваливаются AI-агенты, создаёт синтетические тренировочные среды под каждый пробел в навыках и дообучает модель с помощью микс-экспертов. На бенчмарке τ²-Bench это дало заметный прирост качества по сравнению с обычным промпт-инжинирингом и классическим обучением с подкреплением.
Если вы строите AI-агентов, TRACE показывает, как превратить неудачи из источника фрустрации в целевой тренировочный сигнал — без ручной разметки и лишних затрат compute. Это путь к агентам, которые учатся именно на своих слабостях, а не вслепую.
Почему агенты делают одни и те же ошибки
AI-агенты на базе больших языковых моделей часто проваливают задачи не случайно, а из-за пробелов в конкретных навыках: например, не умеют правильно извлечь нужную запись из базы или проверить предусловие. Классические подходы — обучение с подкреплением (RL) или supervised fine-tuning — плохо решают проблему: в первом случае сигнал слишком размытый и не указывает на конкретный пробел, во втором — бюджет вычислений тратится на навыки, которые модель уже умеет.
Что такое TRACE
Команда из Stanford выпустила TRACE (Turning Recurrent Agent failures into Capability-targeted training Environments) — открытую MIT-лицензию систему, которая превращает повторяющиеся провалы в целевые тренировочные среды.
Пайплайн состоит из четырёх шагов, каждый управляется LLM-агентом:
-
Контрастный анализ навыков
Система прогоняет базового агента по целевым задачам, делит траектории на успешные и провальные, маркирует каждый навык как отсутствующий, присутствующий или неприменимый. Сохраняются только те навыки, чьё отсутствие концентрируется в провалах (контраст ≥0,20, покрытие ≥0,10). -
Синтез целевой среды
Для каждого выявленного пробела генерируется отдельная синтетическая среда — изолированный тренажёр на один навык с процедурной генерацией задач из сидов. Награды вычисляются алгоритмически, без человеческой разметки. -
Обучение LoRA-адаптеров
На каждую среду обучается свой лёгкий адаптер (LoRA) методом GRPO (Group Relative Policy Optimization) — награды нормализуются внутри групп траекторий с одинаковым сидом. Базовая модель остаётся замороженной. -
MoE-композиция с маршрутизацией на уровне токенов
Адаптеры объединяются в Mixture-of-Experts: для каждого токена лёгкие обученные гейты выбирают топ-1 эксперта. Это позволяет модели переключаться между навыками прямо внутри одной траектории.
Результаты
На бенчмарке τ²-Bench (модель Qwen3-30B) TRACE обогнал и промпт-оптимизацию, и обучение одного адаптера. Код доступен на GitHub.
Ключевые выводы
- Провалы агентов не случайны: небольшой набор пробелов в навыках объясняет большинство неудачных траекторий
- Целевые синтетические среды с процедурной генерацией и алгоритмической проверкой дают плотный обучающий сигнал без ручной разметки
- Обучение отдельных LoRA-адаптеров под каждый навык с последующей MoE-композицией эффективнее классического RL или широкого дообучения
- Маршрутизация на уровне токенов позволяет агенту переключать экспертизу внутри одной задачи — гибче, чем один универсальный адаптер
- Открытая MIT-лицензия и воспроизводимый пайплайн снижают порог входа для исследователей и практиков
Автор: Никита Громов · Источник: marktechpost.com
**Хорошая новость:** TRACE решает реальную боль — агенты действительно спотыкаются на одних и тех же местах, и классическое RL тут мало помогает. Идея синтезировать целевые тренажёры под каждый пробел элегантна и хорошо инженерно оформлена — четыре шага, прозрачная метрика отбора навыков, процедурная генерация без судей.
**Где осторожность:** бенчмарк τ²-Bench и одна модель (Qwen3-30B) — это только начало. Неясно, насколько подход масштабируется на сложные мультимодальные задачи и разнородные домены. Процедурная генерация сред работает отлично, когда навык легко формализуется; для размытых soft-skills картина может быть иной. Но в целом это крепкая работа с открытым кодом, которую стоит попробовать, если вы всерьёз занимаетесь агентами — хуже точно не будет.
Комментарии