Почему языковым моделям нужно «подумать», чтобы вспомнить простой факт
Исследователи Google обнаружили парадокс: даже для ответа на простой фактический вопрос (например, «В каком году X был включён в Зал славы?») языковые модели показывают лучший результат, если им дать «порассуждать». Оказалось, что это работает за счёт двух механизмов: дополнительные токены дают модели время на скрытые вычисления (computational buffer), а генерация смежных фактов активирует правильный ответ в памяти (factual priming) — эффект, похожий на человеческую ассоциативную память.
Это меняет понимание того, как работают reasoning-модели: оказывается, CoT полезен не только для сложных задач, но и для извлечения «застрявших» фактов из памяти. Знание механизмов (буфер + прайминг) открывает путь к более эффективной оптимизации промптов и архитектур — не всегда нужен полный chain-of-thought, иногда достаточно короткой «разминки» для памяти.
Рассуждения помогают даже там, где вроде не нужны
Общеизвестно, что chain-of-thought (CoT) — пошаговое рассуждение — улучшает работу больших языковых моделей на сложных задачах: математике, программировании, многоходовых вопросах. Но зачем оно нужно для простых фактов вроде «Кто такой-то и когда?» — модель либо знает ответ, либо нет, никакой арифметики тут не требуется.
Исследователи Google в работе для COLM 2026 показали: включение режима рассуждений разблокирует ответы, которые иначе остаются недоступны. Команда сравнила модели Gemini-2.5 (Flash и Pro) и Qwen3-32B с включённым и выключенным reasoning на датасетах SimpleQA Verified и EntityQuestions — коллекциях простых одношаговых вопросов. Метрика pass@k (проверка, есть ли правильный ответ среди k попыток) показала: с reasoning моделям удаётся «вытащить» факты, которые без него практически недостижимы.
Два механизма: буфер вычислений и цепь ассоциаций
1. Computational buffer. Гипотеза: каждый сгенерированный токен даёт модели дополнительный проход (forward pass) для скрытой обработки. Чтобы проверить это, исследователи заменили реальный reasoning на бессмысленную строку «Let me think», повторённую до той же длины. Результат: даже dummy-текст значительно улучшил recall по сравнению с полным отключением рассуждений. Это подтверждает: дополнительное «вычислительное время» само по себе помогает модели уточнить внутреннее состояние и извлечь труднодоступные факты. Но эффект насыщается — просто удлинять dummy бесполезно, содержание мыслей тоже важно.
2. Factual priming. Анализ естественных reasoning-трейсов показал: модели не строят логические доказательства, а генерируют смежные факты. Это напоминает spreading activation в когнитивной психологии — когда обработка одного понятия активирует связанные концепты в семантической памяти. Исследователи называют это generative self-retrieval: модель «разогревает» нужную область параметрической памяти, выводя релевантный контекст, и таким образом облегчает извлечение целевого факта.
Что это значит
Два механизма работают комплементарно: буфер даёт время на вычисления, прайминг направляет их в нужную сторону. Это объясняет, почему reasoning-модели (R-LLM) эффективнее даже на «тривиальных» вопросах, и подсказывает новые пути оптимизации: не всегда нужен полный CoT, иногда достаточно короткого «разогрева» памяти.
Ключевые выводы
- Reasoning улучшает recall простых фактов не за счёт пошаговой логики, а через два механизма: computational buffer (дополнительные токены = дополнительное время на скрытые вычисления) и factual priming (генерация смежных фактов активирует нужную область памяти).
- Даже бессмысленный текст («Let me think» × N) заметно повышает точность по сравнению с отсутствием рассуждений — подтверждение эффекта вычислительного буфера.
- Естественные reasoning-трейсы для простых вопросов не содержат логических выкладок — модели выводят релевантный контекст, имитируя ассоциативную активацию человеческой памяти.
- Метрика pass@k показывает: с reasoning модели достигают ответов, которые без него практически недоступны, даже при множестве попыток.
- Эффект буфера насыщается — просто удлинять dummy-текст бесполезно, содержание reasoning-трейса остаётся важным для максимальной эффективности.
Автор: Артём Ковалёв · Источник: research.google
**Это одно из тех исследований, которые переворачивают интуицию.** Мы привыкли, что CoT нужен для сложных задач — математика, код, многоходовые вопросы. А тут Google показывает: даже для тупого «в каком году X сделал Y» рассуждения работают. И не потому, что модель что-то выводит логически, а потому что (а) каждый лишний токен — это ещё один forward pass, дополнительное время на внутренние вычисления, и (б) попутная болтовня про смежные факты «разогревает» нужную зону памяти, как у человека одна мысль цепляет другую.
Особенно крут эксперимент с dummy-текстом: заменили весь reasoning на «Let me think Let me think Let me think...» — и точность всё равно выросла. Значит, дело не только в том, ЧТО модель пишет, но и в самом факте генерации. Правда, эффект насыщается — бесконечно удлинять мусор бесполезно, содержание тоже имеет значение. В целом это не просто академическая забава: если понять механику, можно оптимизировать промпты и архитектуры — не гнать полный CoT там, где хватит короткой «разминки» для памяти.
Комментарии