ainews
NVIDIA выпустила Cosmos 3 Edge — мировую модель на 4 млрд параметров для роботов без облака
NVIDIA представила Cosmos 3 Edge — компактную 4B-параметровую модель, которая работает локально на GPU и позволяет роботам понимать окружение, предсказывать результаты действий и генерировать команды управления в реальном времени. Модель объединяет два трансформера (для рассуждений и генерации) и поддерживает разные типы роботов — от манипуляторов до гуманоидов.
Это первая открытая мировая модель, способная работать на edge-устройствах и генерировать команды управления роботами в реальном времени. Снимает зависимость от облака и открывает путь к массовому внедрению автономных систем в промышленности и медицине.
Мировая модель в кармане робота
NVIDIA выпустила Cosmos 3 Edge — самую компактную версию семейства Cosmos 3, содержащую 4 млрд параметров (2 млрд — плотный трансформер-рассуждатель). Модель работает полностью на борту устройства, без подключения к облаку, на GPU класса RTX или специализированных чипах Jetson.
Зачем это нужно? Роботы на складах, заводах и в больницах не могут полагаться на дата-центры — нужна мгновенная реакция, низкое энергопотребление и конфиденциальность данных. Cosmos 3 Edge даёт AI-агентам способность понимать сцену, предсказывать последствия действий и генерировать команды управления локально.
Две башни, одна реальность
Архитектура Mixture-of-Transformers состоит из двух модулей:
- Autoregressive tower — обрабатывает текст и изображения, отвечает за понимание и рассуждения (каузальное внимание)
- Diffusion tower — обрабатывает видео, звук и действия, генерирует предсказания и симуляции (широкое внимание к контексту)
Башни разделяют нормализацию и MLP, но делят слои мультимодального внимания — это позволяет модели сначала рассуждать о сцене, а потом генерировать действие или видео-прогноз.
Универсальный язык действий
Разные роботы описывают движения по-разному: камера — 9 степеней свободы, манипулятор — 10, гуманоид — 29. Cosmos 3 Edge переводит все типы действий в единое геометрическое представление (трансляция, вращение, захват), связывая их с изменениями в видеопотоке.
Модель работает в обе стороны: может предсказать результат действия (что будет, если робот схватит предмет) или восстановить действие по эффекту (что сделал робот, чтобы предмет сдвинулся).
Характеристики и развёртывание
- Разрешение для управления: 640×360
- Скорость: 32 действия за инференс, 15 Гц на Jetson Thor
- Генерация видео: 256p/480p, 12–30 FPS, до 150 кадров
- Поддержка: RTX 3070+, DGX, Jetson (включая новые T2000/T3000)
- Лицензия: OpenMDW-1.1 (Linux Foundation)
NVIDIA также выпустила Cosmos 3 Edge Policy (DROID) — дообученную версию для задач pick-and-place, с готовыми скриптами для файнтюнинга на датасете DROID.
Почему это важно
Впервые мировая модель уровня дата-центра помещается в edge-устройство. Роботы получают возможность "думать" о физическом мире локально, без задержек облака. Это критично для промышленности, медицины, автономного транспорта — везде, где важны скорость, надёжность и конфиденциальность.
Ключевые выводы
- Cosmos 3 Edge сжимает возможности 64B-модели в 4B-пакет, работающий на edge-GPU
- Модель объединяет рассуждения и генерацию через общие слои мультимодального внимания
- Единое представление действий позволяет переносить политики между роботами разных типов
- Достигает 15 Гц управления на Jetson Thor — достаточно для реального времени
- Открытая лицензия и готовые скрипты файнтюнинга упрощают адаптацию под конкретные задачи
Автор: Артём Ковалёв · Источник: marktechpost.com
**Главное здесь — не цифры, а принцип.** Впервые мировая модель (которая не просто распознаёт объекты, а понимает физику сцены и предсказывает последствия действий) помещается в edge-устройство. Раньше такое требовало дата-центров. Теперь RTX 3070 или Jetson справляются на борту, без интернета.
**На практике это значит:** фабричные роботы перестанут зависеть от облака (критично для отказоустойчивости), медицинские манипуляторы получат приватность данных (важно для конфиденциальности), а автономные системы — мгновенную реакцию (важно для безопасности). Открытая лицензия и готовые скрипты файнтюнинга делают барьер входа разумным. Вопрос не в том, «круто ли это» — а в том, как быстро индустрия научится этим пользоваться.
Комментарии