ReasoningBank: как агенты учатся на своих ошибках после запуска
Google Research представила ReasoningBank — систему памяти для AI-агентов, которая анализирует удачные и провальные попытки решения задач, извлекая из них стратегические паттерны. В отличие от существующих подходов, система учится именно на ошибках, превращая их в «защитные правила». На бенчмарках по веб-навигации и программированию агенты с ReasoningBank решают больше задач за меньшее число шагов.
Это шаг к AI-агентам, которые действительно учатся на практике после развёртывания — не переобучаются на датасетах, а эволюционируют из собственного опыта. Важно для долгоживущих агентов в продакшене.
Проблема: агенты без памяти
AI-агенты всё чаще используются для сложных задач — от навигации в интернете до работы с огромными кодовыми базами. Но у них есть фундаментальная слабость: после запуска они не умеют анализировать собственный опыт. Каждая новая задача решается с нуля, одни и те же ошибки повторяются, ценные инсайты теряются.
Существующие системы памяти фиксируют либо все действия подряд (как Synapse), либо только успешные сценарии (Agent Workflow Memory). У обоих подходов два изъяна: они не извлекают высокоуровневые стратегии и игнорируют провалы — главный источник обучения.
Решение: учиться на успехах и провалах
ReasoningBank от Google Research работает иначе. Система хранит не последовательность действий, а структурированные «воспоминания»: - Контекстные ограничения (когда применимо) - Высокоуровневые стратегии и антипаттерны - Обоснование (почему это важно)
Перед каждым действием агент извлекает релевантные воспоминания из банка. После выполнения задачи LLM-судья оценивает результат и дистиллирует инсайты — как из успехов, так и из неудач.
Ключевая фишка: вместо правила «нажми 'Загрузить ещё'» агент извлекает урок типа «сначала проверь идентификатор страницы, чтобы не попасть в ловушку бесконечной прокрутки».
Memory-aware TTS: масштабирование через опыт
Исследователи связали память с test-time scaling (TTS) — увеличением вычислений на этапе инференса. Обычно TTS в агентных задачах отбрасывает траекторию исследования, сохраняя только финальный ответ. ReasoningBank превращает эту траекторию в источник обучения: - Depth scaling: агент пробует несколько стратегий параллельно, сравнивает результаты - Refinement scaling: итеративно улучшает решение на основе критической обратной связи
Получается синергия: качественная память направляет исследование, расширенное исследование обогащает память.
Результаты
На бенчмарках WebArena и SWE-Bench-Verified (Gemini-2.5-Flash) ReasoningBank превзошёл базовые подходы: - Выше success rate при решении задач - Меньше шагов на задачу (эффективность)
Интересный эффект: простые правила-чеклисты («ищи ссылки на странице») со временем эволюционировали в сложные композиционные стратегии с превентивной логикой («непрерывно сверяй задачу с активными фильтрами страницы, чтобы не обрезать пагинацию преждевременно»).
Ключевые выводы
- Существующие системы памяти для агентов либо фиксируют все действия подряд, либо сохраняют только успешные сценарии — оба подхода упускают главный источник обучения: провалы
- ReasoningBank извлекает высокоуровневые стратегические паттерны из траекторий, а не просто записывает последовательность действий — это даёт переносимые уроки
- Анализ ошибок позволяет создавать «защитные правила» (guardrails) — например, не просто «нажми кнопку», а «сначала проверь контекст, чтобы избежать ловушки»
- Memory-aware TTS связывает масштабирование вычислений с накоплением опыта: больше попыток → богаче память → умнее следующие попытки
- Память агентов демонстрирует «стратегическую зрелость»: простые чеклисты со временем эволюционируют в сложные композиционные правила
Автор: Артём Ковалёв · Источник: research.google
Честно говоря, подход выглядит здраво: существующие системы памяти либо складируют горы логов (Synapse), либо сохраняют только «золотые сценарии» (AWM) — и то и другое неэффективно. ReasoningBank идёт дальше: агент не тупо запоминает «нажми кнопку X», а выводит правила типа «проверь контекст, чтобы не попасть в ловушку бесконечного скролла». Это уже тактическое мышление, а не рефлексы.
Но есть нюанс: в статье мельком упоминают, что LLM-судья может ошибаться в оценке траектории, и система «довольно устойчива к шуму в оценках». Хотелось бы больше деталей — на практике такие системы часто закрепляют ложные паттерны из-за неточных оценок. Плюс пока непонятно, как это масштабируется в продакшене: банк памяти растёт, консолидация «оставлена на будущее». В целом направление перспективное, но дьявол в деталях реальной эксплуатации.
Комментарии