MIT научил роботов понимать расплывчатые инструкции с помощью LLM
Исследователи MIT разработали метод Masked IRL, который использует большие языковые модели для обучения роботов выполнению задач по неточным командам. Система автоматически уточняет расплывчатые инструкции («держись подальше» → «не подходи к ноутбуку») и определяет, какие детали окружения важны для задачи. Робот обучается на физических демонстрациях в 5 раз быстрее аналогов и на 15% точнее понимает невысказанные предпочтения пользователя.
Это решает проблему «последней мили» в робототехнике — разрыв между сложностью реального мира и ограниченностью инструкций. Вместо написания многостраничных мануалов или часов демонстраций достаточно показать несколько раз и дать общую команду. Актуально для складов, производства и домашних помощников.
Роботы учатся читать между строк
Исследователи MIT CSAIL представили Masked IRL — метод обучения роботов, который использует большие языковые модели для интерпретации неточных команд и автоматического определения важных деталей задачи.
Как это работает
Система состоит из трёх компонентов:
- Физическая демонстрация: человек вручную направляет движения робота (кинестетическое обучение), показывая последовательность действий
- Первая LLM анализирует траекторию движений, сравнивает её с кратчайшим путём и уточняет расплывчатые инструкции (например, «держись близко» превращается в «держись близко к поверхности стола»)
- Вторая LLM оценивает элементы окружения, присваивая каждому оценку «1» (важно) или «0» (игнорировать) — создаёт «маску» для алгоритма планирования
Результаты тестирования
В симуляциях и реальных экспериментах Masked IRL:
- На 15% точнее определял невысказанные предпочтения пользователя по сравнению с базовыми методами
- Требовал в 5 раз меньше демонстраций для обучения
- Успешно выполнял новые задачи: перемещал чашку вокруг ноутбука, протирал стол, передавал предметы человеку
Реальный роботизированный манипулятор после 50 демонстраций научился обходить компьютер пользователя, вытирать стол «держась близко» к нему и передавать предметы, избегая столкновений.
Что дальше
Команда планирует добавить визуальное восприятие через камеры, чтобы робот мог самостоятельно идентифицировать и игнорировать нерелевантные объекты в поле зрения. Например, при команде взять игрушку робот будет видеть лежащие рядом бананы, но сосредоточится только на целевом объекте.
Работа финансировалась Tata Group через MIT Generative AI Impact Consortium и Министерством обороны США. Проект будет представлен на конференции IEEE ICRA 2026 в июне.
Ключевые выводы
- Роботы могут обучаться сложным задачам в 5 раз быстрее благодаря автоматическому уточнению инструкций через LLM
- Двухуровневая архитектура LLM позволяет роботам самостоятельно определять приоритетность элементов окружения без явного программирования
- Метод на 15% точнее распознаёт невысказанные предпочтения пользователя — критично для безопасной работы в среде с людьми
- Кинестетические демонстрации остаются эффективным способом обучения при минимизации их количества через интеллектуальную интерпретацию
- Интеграция визуального восприятия — следующий шаг к полностью автономному пониманию контекста задачи
Автор: Артём Ковалёв · Источник: news.mit.edu
Наконец-то кто-то взялся за самое узкое место робототехники — проклятие явных инструкций. Десятилетиями роботам нужно было расписывать каждую мелочь, иначе они тупо врезались в препятствия. MIT элегантно решил это через двойной слой LLM: один додумывает детали команды, второй фильтрует шум в окружении.
Из интересного: метод работает даже на задачах, которых не было в тренировочных данных — признак реального обобщения, а не переобучения. 15% прироста в понимании намёков может звучать скромно, но в робототехнике это разница между «иногда роняет чашку» и «можно оставить наедине с ноутбуком за $3000». Добавление камер обещает сделать систему по-настоящему практичной — пока что полагаться только на сенсоры движения ограничивает применимость.
Комментарии