Почему мультимодальность не приведёт к AGI
Автор критикует популярную идею, что склеивание разных модальностей (текст, изображения, звук) в одну большую модель приведёт к сильному ИИ. Главный тезис: настоящий AGI должен понимать физический мир и уметь в нём действовать — завязывать узлы, ремонтировать машины, готовить еду. LLM же учатся не модели мира, а набору эвристик для предсказания токенов, что даёт лишь поверхностное понимание реальности.
Это важная критика мейнстримного подхода к AGI, которая показывает разрыв между маркетинговым хайпом вокруг мультимодальных моделей и реальными требованиями к сильному ИИ. Помогает не переоценивать текущие достижения и переосмыслить, что значит «понимать мир».
Мультимодальность — это не AGI
Последние успехи генеративных моделей убедили многих, что сильный ИИ (AGI) не за горами. Но автор статьи из The Gradient уверен: модный подход «склеить все модальности вместе» обречён на провал.
Главная проблема в том, что любое полноценное определение AGI должно включать способность решать задачи из физического мира: отремонтировать машину, развязать узел, приготовить еду. Для этого нужен интеллект, укоренённый в понимании физической реальности, а не просто обработка символов.
LLM не понимают мир — они учат эвристики
Существует теория, что большие языковые модели через предсказание следующего токена индуцируют модели мира. В пользу этого приводят: - Впечатляющие результаты на бенчмарках - Сходство внутренних представлений больших моделей - Идею, что «язык отражает структуру реальности»
Но автор не убеждён. Знаменитое исследование Othello (где модель предсказывала состояние игровой доски по последовательности ходов) не переносится на естественный язык. Отелло — игра символов, которую можно полностью сыграть на бумаге. А вот помыть пол, помыть посуду или водить машину только словами не получится.
Более того, модели могут отлично предсказывать последовательности, не понимая порождающего их мира. Например, OthelloGPT выучила правила вроде «если токен B4 не появился до A4, то B4 пуста» — эвристики, работающие на обучающих данных, но не отражающие настоящие правила игры.
Вместо модальностей — воплощение
Вместо попыток склеить модальности в лоскутное одеяло AGI, автор предлагает делать упор на воплощение (embodiment) и взаимодействие со средой как первичные элементы интеллекта. Обработка отдельных модальностей должна быть эмергентным явлением, а не основой архитектуры.
Проблема современных подходов в том, что они масштабируются на существующем железе, но не решают фундаментальную задачу понимания физической реальности. Без этого понимания ИИ останется впечатляющим, но поверхностным предсказателем токенов — далёким от настоящего AGI.
Ключевые выводы
- Настоящий AGI должен решать задачи в физическом мире (ремонт, готовка, координация движений), а не только оперировать символами
- LLM скорее всего учат наборы эвристик для предсказания токенов, а не полноценные модели мира
- Исследование Othello не доказывает, что языковые модели понимают мир — игра в символы не эквивалентна физической реальности
- Склеивание модальностей (текст + изображения + звук) не приведёт к AGI без фундаментального понимания физического мира
- Нужны подходы, где воплощение и взаимодействие со средой первичны, а модальности — вторичны
Автор: Сергей Ефимов · Источник: thegradient.pub
Отличная отрезвляющая статья в эпоху, когда каждый новый мультимодальный релиз объявляют шагом к AGI. Автор бьёт в болевую точку: **ChatGPT может болтать о ремонте машины, но не может его сделать** — и это не мелочь, а фундаментальная проблема.
Особенно ценен разбор исследования Othello: да, модель предсказывала доску по ходам, но делала это через костыльные правила, а не понимание игры. То же самое с языком — LLM учат статистические закономерности текста, но не физику мира за ним. **Это как разница между человеком, который читал про велосипед, и тем, кто на нём ездил.** Склеить vision, audio и text в одну модель — не значит дать ИИ тело и опыт взаимодействия с миром. Пока мы не решим проблему embodiment, AGI так и останется красивым маркетинговым термином.
Комментарии