民生证券：英伟达大会前瞻——Omniverse、具身智能与机器人

一.虚拟现实的基石

英伟达Omniverse本质是英伟达专为实时协作和仿真模拟打造的一站式工具集成平台。据英伟达产品介绍、e-works，Omniverse的前身来源于NVIDIA Holodeck（VR协同设计平台），后续在客户创建数字孪生的过程中，越来越意识到这是一个融合多技术、多学科的复杂工程，小到一个零件，大到一座工厂、一座城市，不同物理实体的数字孪生应用重点差别很大；对此，NVIDIA将自身所擅长的GPU数据处理、CUDA运算、实时光线追踪RTX技术等软硬件能力，以及长期深耕的图形、AI、仿真生态系统经验进行集中，以更高效和兼容的方式推出了Omniverse平台，从而解决现实世界与数字世界映射过程中的各项痛点，如各种数字工具的协同，高效逼真的渲染仿真等。

图：Omniverse早期发展历程

英伟达Omniverse发布之初便搭建了以USD通用数据格式+五大功能模块的平台框架。据据英伟达产品介绍、OpenUSD信息速递，Omniverse 平台最初创建目的是将Sketch UP、Rhino、3DS Max等各类DCC软件打通融合（如BIM 软件中的资产即使能够转换成 Rhino 能够识别的三维模型，但依然会丢失建筑构件的大量的信息），Omniverse选择使用USD格式数字资产作为平台的数据格式，搭配五大功能模块实现融合：Nucleus 负责管理协作、Connect 负责联通第三方的DCC软件、Kit是用于构建原生Omniverse应用程序和微服务的工具包、Simulation负责物理仿真、RTX Renderer 负责实时渲染等。

图：Omniverse五大功能模块

经过多年发展，当前Omniverse平台在通用数据格式和五大功能模块为基础的系统生态已经长足进步，成为虚拟现实的基石。

1.1 OpenUSD

英伟达与行业巨头联手打造OpenUSD联盟，并将Omniverse与USD格式数据深度优化绑定。英伟达与Pixar、Adobe、Apple、Autodesk等公司成立了非营利组织AOUSD（OpenUSD联盟）致力于通过 OpenUSD 促进 3D 内容的互操作性，当前USD格式数据已经可以很好描述3D世界的几何图形、材质、物理特性和行为表示。Omniverse针对USD数据进行深度开发，包括但不限于：

1）推出材质定义语言 (MDL) 可让开发者在支持的应用之间轻松地共享基于物理性质的材质；

2）加强USD物理特性仿真能力；

3）使用 Python 3 异步API在Omniverse服务器和本地文件系统之间安全地加载和保存素材；

4）提供USDView直观检查USD场景；

5）例如地理空间坐标、连接 glTF 文件格式、实时程序化、能够在网络浏览器中运行，以及实时串流物联网数据等其他功能

图：OpenUSD体系

1.2 系统生态不断完善

英伟达搭建了完善的Omniverse开发栈，从工作站扩展到云，开发者能够以更少的编码构建先进可扩展解决方案。据英伟达官网，无论是独立开发者还是企业开发者，都可以轻松构建和销售自己的扩展应用，连接器，以及 Omniverse 平台上的微服务，如：

1）使用低代码和无代码的 Python 或 C++ 开发语言；

2）利用 NVIDIA 在过去 20 多年中积累的 AI、渲染和模拟技术，轻松修改或整合超过 500 个预构建的 Omniverse 扩展，并将其添加到您的项目和发行版中

3）在 Omniverse 平台上发布您的应用和扩展程序，并通过 Omniverse Exchange Publishing Portal 在 NVIDIA 生态系统中覆盖各行各业的众多客户等。

图：Omniverse完善的开发栈

英伟达持续推动Omniverse平台与其工作流的融合，为后续Omniverse企业版以及以机器人平台Isaac Sim为代表的前沿技术平台打下坚实基础。英伟达首先利用OpenUSD打通数据孤岛，再利用RTX等技术实现精确的物理模拟能力，最后提供真实世界数据和合成数据相结合训练AI的能力，被全世界的开发者广泛使用。凭借完善的服务流程，各行各业的客户纷纷将该Omniverse与自身工作流相结合，包括AWS、宝马、索尼等科技巨头。

图：Omniverse与其他工作流的协同

二.企业版解决方案

企业版Omniverse以PaaS的方式为企业提供基于 NVIDIA OVX 基础设施构建的全栈云环境，以设计、开发、部署和管理基于OpenUSD 的 3D 工业数字化应用程序。英伟达提供完全优化的基础架构和开发平台，只需订阅即开即用；还支持Omniverse Cloud API（如Avatar Cloud Engine、ChatUSD、DeepSearch、Picasso和 RunUSD）来加速高级 3D 应用程序和开发；同时还支持使用 NVIDIA 的全球云流媒体基础设施为任何 Web 设备提供高保真、交互式的 3D 体验。

图：Omniverse的PaaS服务

2.1 AI和数据科学

在AI和数据科学领域，开发者甚至可以利用Omniverse模拟地球上未来会发生什么，例如如何处理全球变暖以及如何处理气候变化。英伟达Earth-2项目通过结合GPU加速计算、深度学习和内嵌物理信息的神经网络的突破以及人工智能超级计算机三大技术，再加上大量可供学习的观测和模型数据，第一次拥有了构建超高分辨率气候模型的技术，能够以光速来预测未来几十年的区域极端天气变化。

2.2 制造业

Omniverse共享协作环境为制造业从业者提供如Slack一样的云端协作平台。以宝马项目为例，宝马公司正在内部推进NVIDIA Omniverse平台的使用，以协调全球31座工厂的生产，宝马所需应对的挑战不只是各工厂之间的协调，还有如何共享从不同来源导入的数据。宝马员工使用Autodesk Revit、Dassault Systèmes CATIA和数据点云等多种不同的软件工具，通过Omniverse，他们能够清楚访问这些来源的数据，这与目前必须传输不同应用数据的工厂规划技术形成了鲜明的对比。此外，Omniverse平台未来还支持用户能够在协作模拟中合并所有相关数据库的实时数据，因此无需重新导入数据；以及一位同事可以使用动作捕捉技术生成虚拟影像，并出现在任何其他工作地点的另一位同事身边以一起解决问题的新时代协作模式。

2.3 创意行业

对于创意行业，Omniverse能够提供独特的功能来应对加快迭代速度，并获得准确的模拟结果与逼真感等新型挑战。以立方数科项目为例，公司在设计建筑时面临着诸多挑战，其中协作与设计思想的交流是项目团队其中较为棘手的问题，如当团队成员远程工作并且分散各地时，需要转换和合成来自不同软件工具、数据集和其他项目贡献者的数据，导致问题复杂度加剧，设计流程推进缓慢；同时，设计团队持续面临着在紧张的交付期限所带来的压力，因此，对高效协作、高保真渲染的迭代速度，以及准确模拟和逼真度的期望日益增长。从初始概念设计、全球协作，到快速设计评审、演示，Omniverse 可以改变建筑、工程和施工的每个工作阶段。通过 NVIDIA Omniverse 和 Omniverse 提供的相关组件，如 Omniverse Create 和 Omniverse View，以及 NVIDIA RTX 实时光线追踪等技术，立方数科轻松实现了产业园项目的建筑设计方案。

三. Isaac Sim机器人具身智能平台

英伟达致力于将Omniverse与前沿技术结合，打造顶尖的开发平台，Isaac Sim机器人平台便是其中代表者。Isaac Sim机器人平台充分利用了 Omniverse 平台强大的仿真技术，其中包括使用 NVIDIA® PhysX® 5 实现的高级 GPU 物理模拟、具有实时光线和路径追踪的照片级真实感，以及对基于物理的渲染的 MDL 材质定义支持；提供适用于各种应用的模块化架构，包括操作、导航和用于训练数据的合成数据生成；开发者可以通过 Isaac ROS/ROS 2 界面、功能齐全的 Python 脚本以及用于导入机器人和环境模型的插件轻松地将机器人连接到虚拟世界。

图：英伟达Isaac Sim机器人平台技术框架

Isaac Sim平台为开发者提供了从机器人仿真开发、训练、部署、维护等全流程的数字孪生平台。

3.1 机器人仿真开发

NVIDIA Isaac 平台由 NVIDIA Isaac Sim 和 NVIDIA Isaac ROS 组成。前者是一个仿真器，为测试机器人算法提供仿真环境，后者是针对 NVIDIA Jetson 优化的硬件加速软件，其中包含机器学习、计算机视觉和定位算法。基于 NVIDIA Isaac 平台进行 HIL 测试，您可以验证和优化机器人软件栈的性能，从而获得更安全、更可靠、更高效的产品。通过使用 Isaac ROS，开发者可以创建复杂的机器人应用程序，精确地执行复杂的任务。

图：英伟达Isaac ROS架构

3.2 机器人训练环境搭建

Isaac Sim 利用 Omniverse 内置的强大连接器功能，内置了对流行产品设计格式的支持：先进的URDF导入器已在多种机器人型号上进行了测试；CAD 文件可以直接从 Onshape 和 STEP 文件导入，只需最少的后期处理；为了更轻松地将资源添加到不同的环境，Isaac Sim 支持 Shapenet 导入器，该导入器提供对大量 3D 资源的访问。

3.3 机器人训练

训练机器人需要大量多样的数据集，准备这些数据集可能耗时耗钱又危险，甚至在某些极端情况下无法进行。利用 Isaac Sim 的 Omniverse Replicator，开发者在开发周期早期阶段可以使用合成数据可以加速概念验证或验证 ML 工作流；在开发周期的后期阶段以使用合成数据来增强真实数据，从而缩短训练产品模型的时间。

英伟达发布Eureka机器人训练助理，通过生成的奖励程序（可让机器人进行试错学习）在超过 80% 的任务上优于人类专家编写的程序，这使得机器人的平均性能提高了 50% 以上。Eureka还会利用 Isaac Gym 中的 GPU 加速模拟，Eureka 能够快速评估大批奖励候选者的质量，从而提高训练效率；Eureka 随后会基于训练结果汇总关键统计数据，并指导 LLM 改进其奖励函数的生成。通过这种方式，AI 可以自我完善。Eureka 教会了各类机器人，包括四足机器人、双足机器人、四旋翼机器人、灵巧手、协作机器人臂等，来完成不同类型的任务。

3.4 机器人部署

Isaac AMR 是一个可用于打造新一代 AMR 车队的平台，包含了从边缘到云的软件服务、计算以及一套参考传感器和机器人硬件，用于仿真、验证、部署、优化和管理 AMR 车队，在大型、高动态、非结构化的环境中确保先进的测绘、自主和仿真能力。按照 Isaac AMR 所提供的蓝图，就能够轻松地以更低的成本、更快的速度部署最先进的 AMR。Isaac AMR 建立在 NVIDIA Nova Orin 参考架构的基础上，该套件集成了包括立体摄影机、鱼眼摄影机、2D 及 3D 激光雷达等多个传感器，以及强大的 NVIDIA Jetson AGX Orin 系统模块，并取得部分最先进的人工智能和硬件加速算法，实时在边缘以 275TOPS 的算力执行这些算法，藉此成为 Isaac AMR “学霸朋友般”的大脑与 “时刻观察路况”的眼睛。第三方企业等开发者还可以基于 Isaac AMR，结合自身需求进行二次开发。

图：英伟达Isaac AMR部署示意图

免责声明：本文档所有信息来源于英伟达官网、英伟达官方系列微信公众号，任何情况下不构成投资建议。