ainews
Grabette: ручной гриппер для сбора данных без робота
Pollen Robotics выпустила Grabette — open-source систему записи манипуляционных задач вручную, которая превращает демонстрации человека в готовые датасеты для обучения роботов. Устройство состоит из недорогих компонентов (Raspberry Pi, камеры), восстанавливает траекторию движений и работает с экосистемой LeRobot и Hugging Face Hub.
Это попытка решить главную проблему робототехники — нехватку обучающих данных — через демократизацию их сбора. Если подход заработает и сообщество подключится, мы получим открытый датасет масштаба ImageNet для манипуляций.
Проблема не в моделях, а в данных
Главное узкое место робототехники — недостаток разнообразных реальных данных для обучения манипуляциям. Архитектуры (трансформеры, диффузионные модели) и мощности есть, но собирать данные через телеопрацию дорого и долго — нужен робот, установка, время операторов.
Grabette: запись без робота
Pollen Robotics представила open-source систему Grabette — ручной гриппер с камерами, который записывает, как человек выполняет задачу, и автоматически превращает это в robot-ready датасет.
Что внутри: - Две камеры: широкоугольная fisheye (контекст для политики) и OAK-D с глубиной (6-DoF трекинг) - Raspberry Pi, магнитные энкодеры — всё стандартное, собирается на столе - Данные синхронизируются по единому таймеру
Рабочий процесс: 1. Нажал кнопку → записал эпизод выполнения задачи 2. Открыл веб-дашборд → выбрал эпизоды → одним кликом обработал в датасет LeRobot 3. Датасет публикуется на Hugging Face Hub и готов к обучению
Робот-близнец и масштабирование
Для исполнения задач используется Gripette — роботизированный эффектор-близнец Grabette, который монтируется на манипулятор. Формат данных агностичен к конкретной модели руки.
Проект вдохновлён UMI (Stanford), но полностью открыт и интегрирован с современной экосистемой. Цель — создать масштабный collaborative датасет: если записать демонстрацию так же просто, как снять видео, любой сможет внести вклад.
Что дальше
Команда уже работает над Casquette — наголовным устройством для эгоцентрической записи. Основной призыв: собирайте Grabette, записывайте задачи и делитесь датасетами — так индустрия выйдет из тупика дефицита данных.
Ключевые выводы
- Главный барьер обучения роботов — не архитектуры моделей, а нехватка реальных разнообразных данных для обучения манипуляциям
- Grabette позволяет собирать датасеты без робота: человек выполняет задачу ручным гриппером с камерами, система восстанавливает 6-DoF траекторию
- Устройство open-source, собирается из стандартных компонентов (Raspberry Pi, OAK-D камера, магнитные энкодеры) — низкий порог входа
- Интеграция с LeRobot и Hugging Face Hub делает датасеты сразу совместимыми с разными методами обучения и роботами
- Проект нацелен на краудсорсинг данных: если запись проста, как съёмка видео, сообщество сможет создать масштабный датасет манипуляций
Автор: Павел Заславский · Источник: HuggingFace Blog
Это действительно попытка решить правильную проблему: все говорят про foundation models для роботов, но данных у всех — кот наплакал. Pollen Robotics идут по стопам UMI от Stanford, но делают всё открытым и дёшево собираемым. Годная инженерия, годная интеграция (LeRobot + HF Hub), понятный флоу.
Но есть нюанс: успех проекта зависит не от железа, а от того, подхватит ли сообщество. Если народ начнёт собирать Grabette и пилить датасеты — выстрелит. Если нет — останется красивой демкой. Плюс пока неясно, насколько качество таких "ручных" демонстраций сравнимо с телеопом настоящих рук — там свои артефакты и особенности движений. Но направление верное: краудсорсинг данных — это единственный путь к робо-фаундейшнам.
Комментарии