在数字时代的今天，AI正在驱动新一轮的产业变革。在倍受关注的SIGGRAPH 2024上，NVIDIA黄仁勋认为，AI很快将能和人一样做决策。他表示，除了目前的语言模型外，人工智能还将拥有物理世界模型，应该研究如何通过视觉训练教会机器认知物理世界。机器人技术将不再是一个遥不可及的概念，而是日益融入人类的日常生活。
为了加速推动AI在不同行业的不同场景中落地，简化开发流程，NVIDIA发布适用于OpenUSD语言、几何体、物理学和材质的生成式AI模型与NIM微服务。新的服务将加速基于通用场景描述的工作流以及工业数字孪生和机器人的开发。
全新发布的OpenUSD助推AI创新应用
本次NVIDIA全新发布的通用场景描述（OpenUSD），将进一步扩大这一通用3D数据交换框架在机器人、工业设计和工程领域的应用，提高开发者为AI新一轮发展构建高精度虚拟世界的能力。
通过基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平台构建的 NVIDIA 加速的开发框架，越来越多的行业现在能够开发出用于可视化工业设计和工程项目的应用，以及用于构建新一代物理AI和机器人的环境仿真的应用。
新推出的内容包括适用于AI模型的NVIDIA NIM™微服务，这些微服务可生成回答用户查询的OpenUSD语言、生成OpenUSD Python代码、将材质应用于3D物体、理解3D空间和物理学以帮助加快数字孪生的开发等。其他还包括可用于机器人和工业仿真数据格式的全新USD连接器，以及各种开发者工具，用户可通过它们将海量NVIDIA RTX™全光线追踪数据集传输到Apple Vision Pro。
NVIDIA Omniverse与仿真技术副总裁Rev Lebaredian表示：“重工业的生成式AI潮已经到来。直到最近，数字世界的主要用户还是创意行业；而现在，借助NVIDIA NIM微服务为OpenUSD带来的增强功能和可访问性，各个行业都可以创建基于物理学的虚拟世界和数字孪生，在加快创新的同时，为机器人这次新一轮AI技术热潮做好准备。”
通过NVIDIA NIM将生成式AI应用于USD
NVIDIA开发的用于OpenUSD开发的生成式AI模型将以NVIDIA NIM微服务的形式提供。借助这些模型，开发者能够将生成式AI copilot和智能体整合到USD工作流中，拓宽3D世界的可能性，帮助加快USD在制造业、汽车行业和机器人等新工业领域的应用。
预览版中的微服务包括：
USD Code NIM微服务：回答常识性OpenUSD问题，并基于文本提示自动生成 OpenUSD-Python代码，然后将其输入到OpenUSD查看应用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的应用，以实现相应3D数据的可视化。
USD Search NIM微服务：使开发者能够使用自然语言或图像输入，在海量OpenUSD、3D和图像数据库中进行搜索。
USD Validate NIM微服务：检查上传文件与OpenUSD发布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（应用编程接口）驱动的RTX渲染路径追踪图像。
即将提供的新微服务包括：
USD Layout NIM微服务：使用户能够基于空间智能，根据一系列文本提示组装出基于 OpenUSD的场景。
USD SmartMaterial NIM微服务：预测并将逼真的材料应用于计算机辅助设计对象。
fVDB Mesh Generation NIM微服务：根据点云数据生成基于OpenUSD的网络，并通过 Omniverse Cloud API进行渲染。
fVDB Physics Super-Res NIM微服务：对帧或帧序列执行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。
fVDB NeRF-XL NIM微服务：使用 Omniverse Cloud API 在 OpenUSD中生成大规模神经辐射场。
Foxconn在全球拥有 170 多家工厂，受益于NVIDIA的计算平台，利用 NIM 微服务和 Omniverse 为一家正在开发中的工厂创建了数字孪生。
Foxconn史喆表示：“数字孪生将帮助我们加速新一波工业制造和自主机器的发展。NVIDIA Omniverse 和全新的 NIM 微服务将使数字孪生的开发变得更加普及，并帮助我们的团队以前所未有的速度构建基于物理的虚拟工厂。”
WPP是USD Search和USD Code NIM微服务的早期用户之一。该公司将这些微服务用于其基于NVIDIA Omniverse构建的生成式AI内容创建管线中，为可口可乐公司等客户提供服务。
WPP Stephan Pretorius表示：“这些创新的美妙之处在于它与我们的工作方式高度兼容，并充分利用了开放标准。这不仅加速了未来的工作，而且使我们能够继续巩固和扩展我们之前在OpenUSD等标准上的所有投资。通过使用NVIDIA NIM微服务与NVIDIA Omniverse，我们能够以前所未有的速度与可口可乐公司等企业联合推出创新的新生产工具。”
USD连接器为更多行业带来生成式AI
去年，NVIDIA与皮克斯、Adobe、苹果和Autodesk 共同创立了OpenUSD联盟，并通过OpenUSD联盟与其他伙伴一起发布了 OpenUSD 的新版本、OpenUSD 核心规范的进展以及新成员的加入情况。
现在，多款适用于机器人数据格式和Apple Vision Pro流式传输的全新USD连接器将为更多行业带来 OpenUSD互操作性与高级创作能力。
为帮助更多使用 OpenUSD的工业工作负载，NVIDIA与全球工业自动化和软件商西门子正在扩大合作。西门子将把OpenUSD 流水线与其Simcenter仿真技术组合集成，以支持基于证据的决策和关键利益相关方之间的协作。
该集成可实现复杂仿真数据的高保真、实时、逼真可视化，让企业能够更加深入地了解产品在实际操作环境中的性能。西门子将把Omniverse纳入到其Teamcenter 产品生命周期管理软件组合中，为这项工作打好基础。
NVIDIA还发布了一个从统一机器人描述格式（Unified Robotics Description Format）到OpenUSD的连接器，让机器人专家能够将他们的机器人数据无缝导入到用于设计、仿真和强化学习等用途的各种应用中。
为了进一步推动OpenUSD生态系统的扩张，NVIDIA发布了OpenUSD Exchange软件开发套件，帮助开发者创建出自己的强大OpenUSD数据连接器。
新的开发者工具和API可通过NVIDIA Graphics Delivery Network（GDN），将大规模OpenUSD场景从基于Omniverse平台构建的应用流式传输到 Apple Vision Pro。目前，这些新工具和API提供抢先体验版本。
皮克斯 Steve May 表示：“OpenUSD 正在彻底改变我们创建3D内容并与之互动的方式。现在，借助NVIDIA为OpenUSD打造的这些新服务和API，我们有望看到USD以更快的速度增长和普及，这将为新用户和行业更轻松地参与我们的生态系统铺平道路。”
目前，NVIDIA API目录现在提供USD Search、USD Code 和 USD Validate NIM微服务的预览版。OpenUSD - URDF连接器现已与 NVIDIA Isaac Sim™一起提供。
开发者可以使用全新Omniverse开发者工具和参考工作流，将生成式AI集成到OpenUSD工作流中，使用OpenUSD构建生成式AI赋能的合成数据管线。
开源推动AI未来创新
刚刚发布不久的Llama 3.1系列大模型，性能有了很大的提升。根据官方数据显示，在150多个基准测试集中，405B版本的表现追平甚至超越了现有SOTA模型GPT-4o和Claude 3.5 Sonnet。作为支持开源AI的模型，Llama 3.1提供高级功能，并优化训练栈和推理能力，并支持开源和广泛生态合作。
在备受期待的 SIGGRAPH 2024 炉边谈话中，NVIDIA黄仁勋和 Meta马克·扎克伯格探讨了开源 Al和 AI助手的变革潜力。
扎克伯格强调了开源在推动 A1发展中的重要性。他表示，过去，推动所有改进的要素之一是每种类型的内容都有不同的模型。现在，随着模型变得更大、更通用，这种情况正在不断改善。
据了解，Llama 3.1开源模型花费了大量时间和训练资源投入。 Llama 版本拥有 4050 亿个参数，使用 16000 多个 NVIDIA H100 GPU 进行了训练。
黄仁勋则表示， Blackwell架构是英伟达今年发布的新款芯片架构，也是两年前推出的Hopper架构的继承者。相比Hopper架构GPU，Blackwell架构GPU单芯片训练性能是Hopper架构的2.5倍，推理性能是Hopper架构的5倍。
谈到AI未来的发展趋势，黄仁勋强调了与 AI的交互如何变得更加流畅，而不仅仅是基于文本交互。他表示，今天的 AI 有点类似一来一回的模式。你说一句，它回你一句。未来的 AI将会考虑多个选项，生成一个选项树，并模拟结果，从而使其更强大。
写在最后：
在推动人工智能发展的道路上，NVIDIA始终站在行业的前列。无论是刚刚发布OpenUSD语言、几何体、物理学和材质的生成式AI模型与NIM微服务，还是在今年初发布的Blackwell架构，NVIDIA一直在不断的用新技术、新产品和新服务，推动着AI的高速创新发展，用实际行动加速AI在千行百业的落地应用，
