Nvidia представила GR00T 2 — новую модель для управления роботами, которая учится не только выполнять действия, но и предсказывать, как окружающий мир будет меняться в результате этих действий. Благодаря этому навыки, показанные человеком или другим роботом, можно переносить на машины с совершенно иным устройством. В испытании на 50 задачах модель справилась с 40% попыток без предварительных демонстраций на целевом роботе. Одна демонстрация на каждую задачу подняла успешность до 71%, а 5 демонстраций — до 95%. На адаптацию каждой задачи при этом потребовалось менее 3 минут демонстрационных данных и 30 минут дообучения на одной видеокарте Nvidia RTX 5090.
В основе GR00T 2 лежит архитектура World-Action Model (WAM) — модели, которая одновременно прогнозирует будущее видео и действия робота. Она получает последние кадры с камер, текстовую инструкцию и сведения о состоянии машины, после чего генерирует последовательность будущих изображений и соответствующих движений. Модель учится понимать физические взаимодействия, наблюдая не только за роботами, но и за людьми. Общая архитектура подходит для манипуляторов с параллельными захватами, роботизированных кистей с подвижными пальцами и гуманоидов, а небольшие специализированные модули преобразуют общий план в команды двигателям конкретной машины.
Для предварительного обучения Nvidia использовала 402 730 часов видео от первого лица, на которых люди выполняют различные рабочие задачи, 10 184 часа демонстраций с ручным захватом UMI и 23 500 часов дистанционного управления роботами. Данные охватывают манипуляторы YAM и Franka, роботизированные кисти Sharpa и Wuji, а также гуманоид Unitree G1. Видео с людьми составляют основную часть обучающей выборки. Nvidia отдельно проверила их влияние на 72 задачи для робота Dexter: при увеличении доли таких материалов от 0 до 100% успешность в видеосимуляции выросла с 64% до 77%, а на реальном роботе — с 50% до 70%. Часть набора Human-1M, включающая 100 000 часов видео, компания открыла на Hugging Face.
Источник изображения: Nvidia
Один из главных результатов GR00T 2 — перенос навыков между разными типами роботов и людьми. Например, модель обучали лабораторным процедурам по видео, снятым с камер на голове и запястьях человека, а затем проверяли на Dexter с двумя роботизированными кистями. Во всех 4 лабораторных задачах робот добился успеха, хотя не получал демонстраций с дистанционным управлением для их выполнения. В других испытаниях модель переносила навыки, показанные с помощью ручного захвата UMI, на манипулятор YAM, а демонстрации с носимого экзоскелета DexUMI — на робота Tianji с двумя кистями ROBOTERA. Среди освоенных действий — сортировка предметов на конвейере, сборка игрушек, работа с деталями, приготовление завтрака и лабораторные процедуры.
Отдельно Nvidia показала, как GR00T 2 работает совместно с рассуждающей ИИ-моделью. Последняя разбивает сложную задачу на этапы, следит за прогрессом и определяет, что делать дальше, а GR00T 2 отвечает за физическое выполнение действий, которые сложно заранее запрограммировать. В испытаниях с беспорядочно разбросанными деталями такая система собрала игрушечный самолёт, трактор и автомобиль Hot Wheels соответственно в 98, 97 и 97 случаях из 100. Та же модель без помощи агента справилась с этими задачами в 71–84 случаях, а при использовании только предварительно дообученной политики — в 23–69 случаях. В другой серии испытаний совместная система успешно подключила 5 сетевых кабелей к коммутатору в 19 случаях из 20 и вставила 5 зарядных устройств в розетки во всех 20 случаях. Для управления роботами также предусмотрены визуальные подсказки: агент может отметить на изображении точку захвата и место, куда нужно перенести предмет. Это повысило успешность коротких задач перемещения с 40% до 92% на YAM и с 30% до 70% на Dexter.
Источник изображения: Nvidia
Одновременно Nvidia представила GR00T 2 Turbo — облегчённую версию модели, рассчитанную на работу непосредственно на роботе. Она использует трансформер на 2 млрд параметров и более компактное представление видео, уменьшающее вычислительные затраты. В сочетании с оптимизацией выполнения это позволило сократить медианную задержку прогнозирования на 66–86% по сравнению с обычным запуском той же модели. На видеокарте RTX 5090 один прогноз занимает 38 мс, а на бортовом компьютере Jetson Thor — 124 мс. При работе на гуманоиде Unitree G1 модель планирует движения всего тела блоками продолжительностью 1,6 секунды примерно раз в секунду, а контроллер SONIC преобразует их в команды суставам с частотой 50 Гц. Робот уже демонстрирует приготовление и подачу попкорна, уборку пролитой жидкости и сбор мусора в офисной столовой.
Nvidia также использовала моделирование для ускорения разработки и проверки GR00T 2. Специальный процесс на основе ИИ-агентов создаёт цифровые копии реальных рабочих сцен по видео, фотографиям и 3D-сканам, включая геометрию предметов, их внешний вид и физические свойства. Компания сравнила результаты 14 вариантов управления роботом на 25 задачах для YAM в симуляции и в реальности: коэффициент корреляции Пирсона составил 0,92 для успешности выполнения и 0,93 для оценок Elo. Это позволяет проверять изменения в обучении и настройках модели в виртуальной среде до испытаний на настоящих машинах.
