исследования 1 мин

ИИ не может сам себя улучшать — эксперимент Принстона показал провал автономных агентов в исследованиях

Учёные из Принстона попросили Claude Opus 3.5 за $3000 и 6 дней написать две научные статьи уровня топ-конференции NeurIPS. Агенты справились с инженерными задачами (эксперименты, код, данные), но провалились в творческом мышлении: не умели менять подход, выбирали тупиковые гипотезы, игнорировали фидбек. Обе работы отклонили. Вывод: рекурсивное самоулучшение ИИ пока фантастика, модели хороши лишь там, где есть чёткий критерий правильности.

Это прямой ответ на хайп про ИИ, который сам себя улучшает. Если вы делаете продукт, инвестируете или просто планируете будущее — важно понимать, где ИИ реально силён (рутина, проверяемые задачи), а где пока бессилен (творчество, стратегия, смена курса). Не переоценивайте автономность.

Что произошло

Команда из Принстона (Питер Киргис и Саяш Капур) провела эксперимент: дали Claude Opus 3.5 с бюджетом $3000 в API-кредитах, GPU, доступом к интернету и 6 дням времени — пусть напишет две научные статьи уровня NeurIPS 2026 (престижная конференция по машинному обучению). Вопросы были открытыми: можно ли управлять поведением модели через редактирование весов и как создать детектор, который определяет ненадёжность табличных предсказаний. Ответов в открытом доступе не было — агент не мог загуглить решение.

Результат: обе статьи отклонены авторами оригинальных работ. Агенты справились с инженерной рутиной — прочитали литературу, запустили сотни экспериментов, собрали результаты. Но в творческой части провалились: тестировали гипотезы на крохотных синтетических датасетах, отбрасывали перспективные подходы после пары неудач, не умели менять стратегию с нуля, игнорировали фидбек от вспомогательных агентов, вместо пересмотра методологии просто сужали выводы и добавляли оговорки. Итог: агенты хороши там, где есть чёткий критерий правильности (reinforcement learning тренирует на проверяемых задачах), но не умеют в открытые исследования, требующие суждений и вкуса.

Теперь команда повторяет эксперимент с Mythos — новейшей моделью Anthropic (запущена в апреле, доступна лишь проверенным организациям после ограничений администрации Трампа).

Автор: Артём Ковалёв · Источник: technologyreview.com

Разработчикам. Автоматизация исследований через агентов упирается не в код или эксперименты, а в креативность и способность менять курс. Если делаете AI-агента, закладывайте механизмы бэктрекинга и оценки перспективности гипотез — иначе он зациклится на первом тупиковом подходе.

Бизнесу. Обещания вендоров про самообучающийся ИИ стоит делить на два: автоматизация рутины (код-ревью, эксперименты) уже работает, но стратегическое мышление и креативные повороты — пока прерогатива людей. Планируя автоматизацию, разделяйте задачи на проверяемые (можно агенту) и открытые (нужен человек).

Инвесторам. Хайп вокруг рекурсивного самоулучшения (AI улучшает AI без людей) сильно опережает реальность. Инфраструктурные платформы (API, GPU) и инструменты для автоматизации узких задач — ставка безопаснее, чем ставка на полностью автономные исследовательские лаборатории.

Хайп75
Реальная польза70
Заработать55
  • Платформа для «оркестрации» AI-агентов в исследованиях: человек ставит стратегию, агент выполняет эксперименты и рутину — гибрид, где каждый делает своё
  • Сервис авто-оценки гипотез: инструмент, который на ранней стадии прогнозирует, стоит ли гипотеза дальнейших экспериментов (метрики перспективности до запуска)
  • Консалтинг для компаний: аудит задач на автоматизируемость — разделить рутину (можно агентам) и креатив (нужны люди), чтобы не переоценить возможности ИИ
  • Тренинговые датасеты для открытых задач: если проблема в reinforcement learning на проверяемых задачах, можно создавать синтетические среды для тренировки на открытых исследовательских кейсах
  • Инструмент «ретроспектива агента»: AI, который анализирует провалы агента и предлагает, где стоило сменить подход (для обучения следующих версий моделей)
  • Переоценка возможностей агентов приведёт к провалам проектов, где компании ставят на полную автономию там, где нужен человек-эксперт
  • Вендоры будут продавать «самоулучшающийся ИИ» как маркетинг, хотя внутри всё равно нужен человек-контроль (как с «полностью автономными автомобилями»)
  • Ограничения на доступ к моделям (как Mythos после требований администрации Трампа) усилят монополию крупных игроков, мелкие стартапы не смогут экспериментировать
  • Исследование ограничено двумя статьями и субъективной оценкой авторов — выводы могут оказаться слишком пессимистичными (или наоборот)

Когда читаешь, как агент запускает сотни экспериментов, но потом отбрасывает перспективную гипотезу после двух неудач — понимаешь, почему ИИ-лаборатории без людей не взлетят. Модели тренируют на задачах, где есть чёткий критерий правильности (код скомпилировался — молодец, не скомпилировался — плохо). А в исследованиях нет единственно верного ответа: нужно чутьё, умение менять курс, понимать, когда гипотеза перспективна, а когда тупик. Это как разница между джуном, который делает всё по инструкции, и сеньором, который чувствует, где задача пойдёт не туда, и перестраивается на лету.

Вывод простой: ставки на гибридные системы (ИИ делает рутину, человек — стратегию) выглядят намного реалистичнее, чем фантазии про автономные AI-лаборатории. Если вы строите продукт или инвестируете — разделяйте задачи на проверяемые (можно агенту) и открытые (нужен эксперт). И не верьте обещаниям про «ИИ сам себя улучшит завтра» — это красивая история для презентаций, а реальность пока намного приземлённее.

Ещё по теме

Комментарии