Виртуальные тренировочные площадки для роботов создают AI-агенты
Исследователи из MIT и Toyota Research Institute разработали систему SceneSmith, где три AI-агента на базе продвинутой языковой модели создают реалистичные 3D-сцены для обучения роботов. Система генерирует детализированные виртуальные помещения с в 6 раз большим количеством объектов, чем предыдущие методы, позволяя роботам отрабатывать навыки в симуляции перед реальной работой.
Обучение роботов реальным навыкам — дорогой и медленный процесс, тормозящий развитие робототехники. SceneSmith ускоряет подготовку машин в разы, автоматически создавая реалистичные виртуальные тренировочные площадки вместо часов ручной работы.
Три агента строят виртуальный мир
Обучение роботов — долгий и дорогой процесс: каждое действие нужно отработать в реальности. Исследователи из MIT CSAIL и Toyota Research Institute нашли способ ускорить подготовку машин с помощью AI-агентов, которые создают реалистичные виртуальные тренировочные площадки.
Система SceneSmith использует три специализированных агента на базе продвинутой языковой модели GPT-5.2 (модель с визуальными возможностями, обученная на миллионах изображений и текстов). Первый агент — «дизайнер» — создаёт планировку и расставляет объекты. Второй — «критик» — проверяет реалистичность (например, удалит ванну из гостиной). Третий — «оркестратор» — управляет процессом и решает, когда сцена готова.
Шесть раз больше деталей
Результат впечатляет: система генерирует помещения с в 6 раз большим количеством объектов, чем предыдущие методы. Исследователи создали более 1300 уникальных сцен — от гаражей до ресторанов. В них роботы могут практиковать реальные навыки: ставить чашки в раковину, раскладывать фрукты по тарелкам, открывать шкафы.
Работает на практике
Главная проверка: в виртуальные миры SceneSmith запустили робота, обученного на реальных данных и никогда не видевшего эти сцены. Он успешно выполнил команду «возьми яблоко из миски и положи на разделочную доску» — доказательство, что симуляция достаточно реалистична.
Команда также тестировала 100 разных стратегий поведения роботов в сгенерированных пространствах. AI-агент оценивал каждую попытку, и люди согласились с его вердиктами в 99% случаев. Это позволяет отсеивать неработающие подходы ещё до физических испытаний.
Зачем это нужно
Физическое обучение роботов — узкое место индустрии. Согласно профессору MIT Расу Тедрейку, несмотря на прогресс в физических движках для симуляций, создание достаточно разнообразного виртуального контента оставалось проблемой. SceneSmith решает её, используя знания о пространстве и объектах, заложенные в больших языковых моделях.
Теперь инженеры могут попросить систему «сгенерируй гараж с машиной, верстаком, стопкой шин в углу и лестницей у стены» — и получить готовую тренировочную площадку за минуты вместо часов ручной работы.
Ключевые выводы
- Три AI-агента (дизайнер, критик, оркестратор) на базе VLM создают детализированные 3D-сцены для обучения роботов без человеческого участия
- SceneSmith генерирует помещения с в 6 раз большим количеством объектов, чем предыдущие системы, включая интерактивные элементы вроде открывающихся шкафов
- Роботы, обученные на реальных данных, успешно выполняют задачи в сгенерированных сценах, подтверждая их реалистичность
- AI-оценка стратегий поведения роботов в симуляции совпадает с человеческой на 99%, позволяя отсеивать ошибки до физических тестов
- Система сокращает время и затраты на обучение роботов, заменяя дорогостоящие реальные эксперименты виртуальными тренировками
Автор: Сергей Ефимов · Источник: news.mit.edu
Это интересный сдвиг в том, как мы думаем об обучении роботов. Вместо того чтобы таскать железку по сотням реальных помещений, MIT предлагает отдать черновую работу трём AI-агентам, которые нарисуют тысячи виртуальных комнат. И это работает: робот, который никогда не видел эти сцены, справляется с задачами.
Осторожно стоит отнестись к упоминанию GPT-5.2 — модель с таким названием официально не анонсирована, возможно, речь о внутренней версии или ошибке в тексте. Но сама идея здравая: большие мультимодальные модели уже знают, как выглядят кухни и гаражи, благодаря обучению на миллионах изображений. Остаётся дать им роли (дизайнер, критик, координатор) и запустить цикл улучшения сцены. Результат — в 6 раз больше объектов на сцену и 99% согласия с людьми при оценке. Робототехника получает дешёвый способ масштабировать обучение.
Комментарии