ainews
Почему AI в математике побеждает не умом, а памятью: разбор настоящего преимущества моделей
AI решает сложные математические задачи не потому, что «умнее» людей, а потому что у него огромное символьное рабочее пространство (context window). Человек держит в уме 5-7 элементов, модель — тысячи токенов с промежуточными выкладками. Это не интеллект, а снятие биологического ограничения на рабочую память.
Это меняет понимание того, где AI реально силён, а где переоценён. Если успех в математике — не про интеллект, а про память, то применимость AI в других областях тоже нужно переосмыслить. Плюс это открывает новые продуктовые и инвестиционные возможности вокруг memory infrastructure.
Что произошло
Давид Пиффер из Института перспективных исследований опубликовал анализ, который переворачивает популярное объяснение успехов AI в математике. Основной тезис: модели побеждают не за счёт превосходного мышления, а благодаря огромному символьному рабочему пространству — context window.
Человек держит в рабочей памяти 5-7 элементов одновременно. Попробуйте умножить два трёхзначных числа в уме — сложность не в операциях, а в удержании промежуточных результатов. Математики компенсируют это бумагой, нотацией, диаграммами и чанкингом (группировкой символов в знакомые паттерны).
LLM обрабатывает тысячи токенов сразу: условие задачи, сотни промежуточных уравнений, несколько брошенных подходов, определения, ограничения. Это не внутренняя активная память как у людей, а гигантский внешний блокнот с несовершенной системой поиска.
Исследования показывают: рабочая память предсказывает математические способности независимо от IQ (Alloway & Passolunghi 2011, Friso-van den Bos 2013). Среди детей с одинаковым IQ разница в способности удерживать и обновлять информацию объясняет разницу в математических результатах.
Вывод: AI кажется математически умнее отчасти потому, что не ограничен когнитивным узким местом, которое душит человеческую производительность. Бумага не делает вас умнее — она расширяет эффективную рабочую память. Context window делает то же самое, только на стероидах.
Автор: Сергей Ефимов · Источник: hnrss.org
Разработчикам. Context window — это не абстракция, а конкретное преимущество. При проектировании AI-систем для математики, кода или сложных рассуждений важнее оптимизировать управление символьным пространством (что держать в контексте, как структурировать), чем гнаться за абстрактным интеллектом. RAG, chain-of-thought, внешние инструменты — всё это про расширение рабочей памяти.
Бизнесу. Продукты на базе LLM выигрывают там, где нужно держать в голове много связанных данных: юридический анализ, финансовое моделирование, комплексная диагностика. Конкурентное преимущество не в умности модели, а в архитектуре управления контекстом. Инвестируйте в инфраструктуру памяти, а не только в размер модели.
Инвесторам. Рынок переоценивает reasoning и недооценивает memory infrastructure. Стартапы, которые решают проблему долгосрочной структурированной памяти для AI (vector DB, hierarchical context, external symbolic systems), получат больше, чем очередная reasoning-модель. Смотрите на компании вроде Pinecone, Weaviate, но с фокусом на symbolic reasoning workspace.
- Создать инструмент для разработчиков, который визуализирует и структурирует использование context window в реальном времени — помогает понять, что модель держит в памяти и почему ошибается
- Разработать специализированные внешние символьные workspace для LLM: не просто vector DB, а системы для математических выкладок, юридических цепочек рассуждений, финансовых моделей
- Образовательные продукты, которые обучают людей работать с AI как с внешней памятью: курсы по prompt engineering с акцентом на управление контекстом, а не на волшебные фразы
- B2B-решения для профессий с высокой когнитивной нагрузкой (юристы, аудиторы, врачи): AI как augmented working memory, а не замена эксперта
- Исследовательские инструменты для оценки reasoning vs memory в AI-системах — метрики, бенчмарки, диагностика узких мест
- Переоценка reasoning capabilities: модели кажутся умнее, чем есть, потому что мы путаем расширенную память с интеллектом. Это ведёт к ошибкам в оценке применимости AI
- Хрупкость при изменении контекста: если задача требует истинной адаптации или работы с информацией вне контекста, преимущество исчезает
- Масштабирование context window упирается в квадратичную сложность attention (хотя есть MoE, sparse attention и т.д.) — архитектурные ограничения могут стать потолком
- Рынок может проигнорировать memory infrastructure в погоне за хайпом вокруг AGI и reasoning, упустив более практичные и прибыльные ниши
Это один из тех материалов, которые заставляют пересмотреть базовые допущения. Мы привыкли думать, что если AI решает сложную задачу, значит, он умнее. На деле он просто не забывает промежуточные шаги, как это делаем мы. Context window — это костыль, а не прорыв в мышлении.
Практически это означает: не гонитесь за абстрактным reasoning, инвестируйте в архитектуру управления памятью. Продукты, которые помогают структурировать и использовать внешнее символьное пространство (для юристов, врачей, аналитиков), могут принести больше денег, чем очередная GPT-обёртка. И да, это ещё один аргумент против AGI-хайпа: если даже в математике успех объясняется не интеллектом, то что говорить про общий интеллект?
Комментарии