Почему ИИ проваливает тесты, которые проходит годовалый ребёнок
Исследователи из Meta, Stanford и других университетов создали тест EgoBabyVLM, который показывает видео с камер на головах младенцев современным AI-моделям. Результат: передовые модели провалились, не справившись с тем, что младенцы усваивают легко. Оказалось, что дети учатся из хаотичного потока информации — жестов, взглядов, разговоров о невидимых объектах — используя мультимодальный опыт и минимум данных. Это ставит под вопрос текущую архитектуру ИИ и намекает, что эволюция встроила в мозг что-то, чего нет в трансформерах.
Это указывает на фундаментальные ограничения текущих AI-архитектур и намекает на путь к более эффективным, менее энергозатратным моделям — через заимствование принципов работы детского мозга. Для робототехники и embodied AI это может стать прорывом.
Тест, который провалили все
Команда из Meta, Stanford, Токийского университета и École Normale Supérieure придумала необычный эксперимент: взяли около тысячи часов видео с камер, закреплённых на головах младенцев и малышей, и скормили эти данные современным vision-language моделям (VLM). Задача — научиться описывать мир так, как это делает ребёнок.
Результат оказался неутешительным: передовые модели провалились. То, что годовалый ребёнок схватывает на лету — распознавание объектов после пары показов, понимание физики и социальных сигналов из беглых наблюдений — для ИИ оказалось непосильной задачей.
Почему дети учатся лучше ИИ
Майкл Фрэнк из Stanford объясняет: дети учатся не из аккуратных датасетов, а из калейдоскопа впечатлений. Родители говорят об объектах, которых уже не видно, указывают взглядом или жестом, обсуждают прошлое и будущее. Это мультимодальный, тактильный, социальный опыт — не просто текст и картинки.
Трансформеры хороши в поиске паттернов, но, как отмечает Джошуа Тененбаум из MIT, они не получают «здравый смысл» о физическом мире или социальных взаимодействиях. Эволюция, похоже, встроила в мозг ребёнка оптимизированные механизмы обучения, которых нет в современных алгоритмах.
Что это значит для AI
Тест EgoBabyVLM — продолжение серии экспериментов, включая BabyLM (2023), где модели учили язык на данных объёма 10-летнего ребёнка. С синтаксисом трансформеры справились, но физика и социальность — провал.
Брендан Лейк из Princeton отмечает: модель может выучить, что такое мяч, из видео одного младенца, но до полноценного рассуждения о мире в 2 года — огромная пропасть. Возможно, нужны новые архитектуры — способные к длительному вниманию, пониманию причинности и социальных сигналов.
Ранние эксперименты Фрэнка с новыми моделями, учитывающими временные и визуальные связи, показали: можно учиться эффективнее. Возможно, будущее AI — в том, чтобы не просто масштабировать трансформеры, а встроить в них что-то из архитектуры детского мозга.
Ключевые выводы
- Современные VLM проваливают задачи, с которыми справляются годовалые дети, несмотря на триллионы токенов обучения
- Дети учатся из хаотичного мультимодального потока (жесты, взгляды, разговоры о невидимом), а не из кураторских датасетов
- Трансформеры хороши в паттернах, но не получают «здравый смысл» о физике и социальности из данных младенцев
- Эволюция могла встроить в мозг оптимизированные механизмы обучения, которых нет в текущих AI-архитектурах
- Новые модели, учитывающие причинность и социальные сигналы, показывают более эффективное обучение на детских данных
Автор: Ксения Лаврова · Источник: wired.com
Это одно из самых трезвых исследований года — без хайпа, но с неудобным выводом. Мы накачиваем модели энергией малых стран и петабайтами данных, а они не могут сделать то, что младенец усваивает за пару дней наблюдения за миром. Причём это не какая-то абстрактная философия — речь о базовых вещах: понять, что мяч круглый, как объекты взаимодействуют, что значит взгляд мамы.
Здесь две новости. Плохая: текущая архитектура AI, похоже, упёрлась в потолок — больше данных и параметров не дадут «здравого смысла». Хорошая: есть шанс, что изучение детского мозга подскажет, как строить модели умнее и экономнее. Фрэнк уже показал, что новые подходы работают лучше на тех же данных. Если это масштабируется — мы можем получить следующее поколение AI не через грубую силу, а через элегантность. Пока же факт остаётся фактом: самый продвинутый LLM глупее двухлетки в том, что касается реального мира.
Комментарии