NVIDIA Isaac ROS 5.0: агентные рабочие процессы и ускорение робототехники
NVIDIA представила на ROSCon в Торонто Isaac ROS 5.0 — набор GPU-ускоренных пакетов на базе ROS с поддержкой ROS Lyrical, Ubuntu 24.04 и агентных рабочих процессов. Новые навыки для ИИ-агентов упрощают настройку, манипуляции и тонкую настройку моделей. FoundationPose ускоряет оценку позы объектов до 5,5 раза. Решение бесплатно и открыто.
Первоисточник: blogs.nvidia.com
Что такое NVIDIA Isaac ROS 5.0
NVIDIA Isaac ROS 5.0 — набор GPU-ускоренных пакетов на базе открытого фреймворка ROS. Релиз представлен на конференции ROSCon в Торонто. Он предназначен для разработчиков робототехнических приложений, которые должны воспринимать, рассуждать и действовать в динамических средах. Isaac ROS привносит в ROS ускоренные вычисления NVIDIA, модели физического ИИ и готовые библиотеки, ориентированные на почти 1,3 млн пользователей ROS.
ROS Lyrical, Ubuntu 24.04 и агентные рабочие процессы
Isaac ROS 5.0 добавляет поддержку ROS Lyrical и Ubuntu 24.04, открывая путь к переходу на актуальную платформу ROS с сохранением ускорения за счёт вычислений NVIDIA. Релиз также привносит агентные рабочие процессы в разработку роботов: ИИ-агенты автоматизируют повторяющиеся задачи, ориентируются в сложных кодовых базах и ускоряют переход от идеи к работающему приложению.
Новые навыки для ИИ-агентов
- Навыки настройки и манипуляций — переиспользуемые рабочие процессы для задач разработки роботов.
- Документация, готовая для агентов, помогает ИИ-агентам понимать инструменты и рабочие процессы Isaac ROS.
- Навык тонкой настройки FoundationStereo позволяет ИИ-агенту адаптировать стереомодель восприятия под конкретные камеры, среду и приложение.
- FoundationPose — фундаментальная модель для оценки и отслеживания позы объектов — поставляется с библиотекой инференса, готовой для агентов, что ускоряет определение положения и ориентации объектов до 5,5 раза.
- Задача «взять и положить» (pick and place), объединяющая детекцию, оценку глубины и вывод позы, доступна как отдельный навык, готовый для агентов.
Ускорение оценки позы объектов до 5,5 раза с FoundationPose
FoundationPose — фундаментальная модель для оценки и отслеживания позы объектов. В Isaac ROS 5.0 она получила библиотеку инференса, готовую для использования ИИ-агентами. Это позволяет роботам воспринимать и отслеживать положение и ориентацию объектов до 5,5 раза быстрее. Ускорение критично для задач манипуляции, где важна скорость реакции на изменение положения деталей.
Стандартный интерфейс обработки данных для ROS Lyrical
NVIDIA совместно с Open Source Robotics Alliance внесла стандартный интерфейс обработки данных в ROS Lyrical. Он помогает робототехническому ПО эффективно работать на разном вычислительном оборудовании, включая GPU. Интерфейс доступен всему сообществу ROS и даёт разработчикам единообразный способ ускорять ресурсоёмкие приложения; CUDA выступает рабочим примером GPU-ускорения.
Поддержка платформ NVIDIA Jetson: от Orin Nano до Thor
Isaac ROS 5.0 поддерживает масштабируемые вычисления — от начального уровня NVIDIA Jetson Orin Nano до высокопроизводительных устройств Jetson Thor. Это даёт разработчикам путь от разработки к развёртыванию по мере усложнения робототехнических нагрузок. NVIDIA Jetson — масштабируемая вычислительная платформа для запуска стека физического ИИ на периферии с производительностью в реальном времени, объединяющая ROS, ускоренное восприятие и навигацию, ИИ-модели и логику приложения непосредственно на роботе.
Экосистема партнёров: RealSense, Intrinsic, Seeed Studio, Magna и другие
| Партнёр | Решение |
|---|---|
| RealSense | AgenticROS — открытый проект, связывающий Isaac ROS с открытыми моделями NVIDIA Nemotron и blueprints NVIDIA NemoClaw для взаимодействия ИИ-агентов с роботами на ROS. Также оптимизирует 3D-стереокамеры, включая RealSense D585 Pro, и открытый SDK для Isaac ROS и Jetson Thor. |
| Intrinsic | Open Machine Tending Solution — референсное приложение для обслуживания станков ЧПУ, часть Intrinsic Core. Включает совместимость с NVIDIA FoundationPose для регистрации, отслеживания и оценки позы объектов. |
| Seeed Studio | Использует Isaac ROS с reBot Arm, объединяя ускоренное восприятие, пространственное понимание и планирование движения на Jetson Thor. |
| Magna | Применяет Isaac ROS как модульную GPU-ускоренную основу для восприятия, сбора синхронизированных данных и развёртывания моделей NVIDIA Isaac GR00T, сочетая с Isaac Sim для тестирования hardware-in-the-loop. |
| Prefix.dev | Инструмент управления пакетами Pixi упрощает создание воспроизводимых сред разработки роботов, объединяя ROS с платформой NVIDIA CUDA. |
| Foxglove | Как партнёр Isaac ROS помогает визуализировать и отлаживать живые ROS-приложения через веб- и десктоп-инструменты, интегрированные в туториалы Isaac ROS. |
| Flexiv | Интегрирует Isaac ROS с адаптивным роботом Rizon 4, обеспечивая путь от тестирования в Isaac Sim до развёртывания на физическом роботе. |
| Ekumen (Grid Dynamics) | Использует GPU-ускоренные пакеты Isaac ROS в существующих стеках ROS и Nav2 для повышения точности стыковки, 3D-обнаружения препятствий, визуальной локализации и планирования движения в реальном времени. |
| Ouster | Интегрирует стереокамеры Stereolabs ZED с Isaac ROS для GPU-ускоренного восприятия, упрощая разработку обнаружения объектов, картографирования и навигации. |
Примеры использования: от человекоподобных роботов до промышленной автоматизации
- Mentee Robotics использует Isaac ROS как основу восприятия и ИИ для гуманоида MenteeBot, позволяя роботу интерпретировать визуальную информацию и выполнять выученные поведения в реальном времени.
- Universal Robots встроила Isaac ROS в свой SDK AI Accelerator, чтобы интеграторы быстрее развёртывали продвинутое восприятие и движение без разработки сложного ПО с нуля.
- ROBOTIS интегрирует Isaac ROS в робота AI Worker, используя GPU-ускоренное восприятие объектов для задач манипуляции с визуальным управлением, включая захват, размещение и выравнивание.
- FieldAI интегрирует Isaac ROS на устройствах Jetson в свои фундаментальные модели роботов, работающие полностью на роботе без облака, для повышения эффективности бортового ИИ-стека.
- Noble Machines применяет Isaac ROS на Jetson для ускорения разработки универсальных роботов промышленного назначения, опираясь на готовые возможности ИИ и восприятия.
Как начать работу с Isaac ROS 5.0
Isaac ROS 5.0 уже доступен, распространяется бесплатно и с открытым исходным кодом. Разработчики могут узнать больше и начать работу с NVIDIA Isaac ROS на GitHub.
Перспективы развития агентной робототехники с NVIDIA
Сочетая открытую робототехническую экосистему, ускоренные вычисления и новые агентные рабочие процессы, Isaac ROS 5.0 помогает разработчикам решать обе стороны задачи физического ИИ: создавать всё более способные робототехнические приложения и эффективно запускать их в физическом мире.
Что нового в NVIDIA Isaac ROS 5.0?
Релиз добавляет поддержку ROS Lyrical и Ubuntu 24.04, агентные рабочие процессы, новые навыки для ИИ-агентов (настройка, манипуляции, тонкая настройка FoundationStereo, библиотека инференса FoundationPose), а также стандартный интерфейс обработки данных для ROS Lyrical.
Насколько быстрее работает FoundationPose в Isaac ROS 5.0?
FoundationPose теперь обеспечивает библиотеку инференса, готовую для агентов, что позволяет роботам воспринимать и отслеживать положение и ориентацию объектов до 5,5 раза быстрее.
Какие платформы NVIDIA Jetson поддерживаются?
Isaac ROS 5.0 поддерживает масштабируемые вычисления от начального уровня NVIDIA Jetson Orin Nano до высокопроизводительных устройств Jetson Thor.
Где получить Isaac ROS 5.0?
Isaac ROS 5.0 доступен бесплатно и с открытым исходным кодом. Узнать больше и начать работу можно на GitHub.