NVIDIA показала, как ИИ-агенты на базе GPT-6 Astra автоматизируют создание симуляций в Omniverse

Что показала NVIDIA: ИИ-агенты плюс библиотеки Omniverse

NVIDIA рассказала, как разработчики используют передовые ИИ-модели вместе с библиотеками Omniverse для превращения идей в рабочие симуляции. Инженеры управляют ИИ-агентами через инструкции на естественном языке, а те собирают сцены, подключают GPU-ускоренную физику, рендеринг и сенсорную симуляцию. В примерах — интерактивный симулятор человекоподобного робота для склада и переиспользуемая среда для тестирования автопилотов на основе улицы Маркет-стрит в Сан-Франциско.

Как это работает: роль frontier-моделей и библиотек Omniverse

Разработчики направляют ИИ-агентов через инструкции на естественном языке, проверяют результаты и вносят правки. Библиотеки Omniverse дают GPU-ускоренную физику, рендеринг и сенсорную симуляцию. В примерах NVIDIA фигурирует frontier-модель GPT-6 Astra, а также агенты на базе Claude Fable 5. Агенты подключают нужные библиотеки, генерируют код и анимацию, а человек контролирует ключевые этапы.

• ovphysx — физика
• ovstage — обновления сцены
• ovrtx — рендеринг и сенсорная симуляция
• ovui — пользовательский интерфейс
• simready-foundation — создание физической сцены в симуляции
• ovstream — потоковая передача

Симулятор человекоподобного робота для склада

Фрэнк ДеЛизе, продакт-менеджер Omniverse в NVIDIA, с помощью Astra превратил SimReady-склад и человекоподобного робота в интерактивный симулятор с видом от первого и третьего лица. Он поручил Astra подключить библиотеки Omniverse для физики (ovphysx), обновлений сцены (ovstage), рендеринга (ovrtx) и интерфейса (ovui). Также он использовал Astra с SimReady (simready-foundation) для создания физической сцены. Затем Astra сгенерировала анимацию и код приложения, объединив эти возможности.

Среда для тестирования автопилотов: Zero to Alpamayo

Доюб Ким, менеджер команды simulation technology в NVIDIA, попросил Astra построить Zero to Alpamayo — переиспользуемую среду симуляции на основе Маркет-стрит в Сан-Франциско. Ким поручил Astra сначала составить план работ, а затем поэтапно подключить создание ассетов, трафик, сенсорную симуляцию Omniverse RTX и вождение Alpamayo, проверяя каждую интеграцию. Получившийся прототип стал испытательным стендом для сравнения моделей и отслеживания того, как изменения сцены или сенсоров влияют на поведение автопилота.

Эксперимент Cosmos3-Nano: погода и освещение

В отдельном эксперименте Cosmos3-Nano менял погоду и освещение в записанных видео симуляции. Это позволило Киму сравнить реакции модели вождения на один и тот же сценарий в разных условиях.

Цифровые двойники по расхождениям сенсоров

Эшли Рид, работающая над валидацией RTX-сенсоров в NVIDIA, поручила агентам Astra и Claude Fable 5 сравнить выходные данные камеры ovrtx и сырые данные лидара с записанными данными. Агенты создали два цифровых двойника с нуля и улучшили два существующих. Примерно за три дня Рид провела итеративный процесс: агенты измеряли расхождения, создавали или изменяли сцены OpenUSD и проверяли результаты. Правки касались отсутствующих объектов, геометрии и материалов, а приёмка зависела от метрик камеры и лидара. Это даёт разработчикам способ использовать измеренные расхождения для создания и улучшения сцен.

Robo Olympics: проверка навыков роботов в симуляции

Тэ Ким, руководитель engineering и product в NVIDIA Omniverse, использовал спортивные видео и инструкции на естественном языке, чтобы направить Astra на создание Robo Olympics — экспериментального проекта, в котором симулированные человекоподобные роботы Unitree G1 выполняют спортивные движения. Под руководством Кима Astra построила контроллеры и дорабатывала их через физические испытания. Поведение симулировал Newton Physics Engine, вычисления ускорял открытый фреймворк NVIDIA Warp, а сцены и изображения виртуальных камер рендерил ovrtx. В одном эксперименте робот преодолел одно препятствие в 64 из 100 попыток симуляции. Испытания дали Киму обратную связь для улучшения тайминга и управления.

Разборка роботом: CAD, Isaac Sim и проектирование инструмента

Йенс Йебенс, старший продакт-менеджер по OpenUSD в NVIDIA, поручил Astra смоделировать подвеску автомобиля в PTC Onshape и настроить её в NVIDIA Isaac Sim. С помощью Astra Йебенс исследовал ревизии CAD и инструментов для роботов с опорой на симуляцию. Агент измерил доступное пространство и спроектировал гаечный ключ, которым робот мог бы добраться до болтов подвески. Йебенс сообщил об успешном снятии компонента подвески в симуляции. Это связывает решения по дизайну и инструментам с результатами разборки и даёт отправную точку для обучения политик робота.

МКС в браузере: сборка модели и телеметрии одним промптом

Ник Джонс, директор по инженерии в NVIDIA, попросил Astra собрать активы NASA в модель Международной космической станции на OpenUSD с телеметрией. Джонс построил приложение одним промптом, а затем с помощью дополнительного промпта перевёл сцену на дневную сторону Земли, чтобы планета была видна. В работе использовались Blender для подготовки ассетов и библиотеки Omniverse для рендеринга (ovrtx), рантайма сцены (ovstage) и потоковой передачи (ovstream). Приложение выводит 3D-модели и операционные данные в браузер, а Джонс управлял разработкой через промпты и правки.

Из захваченных комнат — в тестовые среды

Чираг Маджития из команды Isaac engineering applications в NVIDIA поручил Astra превратить стереосъёмку комнат в редактируемую студию OpenUSD. В процессе сочетались PyCuSFM, FoundationStereo и nvblox для реконструкции, а пользовательская проверка направляла выбор и размещение объектов. Astra собирала сгенерированные и созданные в Blender ассеты и использовала USD Content Agents для настройки того, как объекты движутся и взаимодействуют в симуляции. Тесты в Isaac Sim помогли доработать коллизии и контакты для дверей и ящиков. Студия связывает захваченную геометрию с тестированием взаимодействий, упрощая проверку зазоров и поведения объектов.

Ограничения подхода и роль человека в цикле

Во всех примерах человек ставит задачи, проверяет промежуточные результаты и принимает решения о приёмке. Агенты выполняют рутинную сборку, но качество зависит от метрик: например, в цифровых двойниках приёмка определялась показателями камеры и лидара. В Robo Olympics успех составил 64 из 100 попыток, что показывает: симуляция даёт измеримую обратную связь, но не гарантирует результат с первого раза. Итеративный цикл с участием человека остаётся обязательным.

Что это значит для разработчиков: как начать с Omniverse

NVIDIA предлагает разработчикам изучить библиотеки Omniverse и начать строить с ИИ-агентом. В качестве отправных точек в материале упоминаются: подготовка и валидация SimReady-ассетов роботов, рендеринг сцены OpenUSD с минимальным примером на Python для ovrtx, руководство по импортеру Onshape, навык Omniverse Real-Time Viewer и USD Content Agents.