出品 | 51CTO技术栈(微信号:blog51cto)
人形机器人时代即将到来,因为背后有英伟达。
在备受期待的NVIDIA GTC大会上,伴随着令人意外的“表演方式”出场,NVIDIA首席执行官黄仁勋宣布了GR00T项目,这是一个为类人机器人设计的通用基础模型。
图片
由GR00T驱动的机器人被设计成能够理解自然语言,并通过观察动作模仿人类行为。这使它们能够快速学习协调性、灵巧性以及其他在现实世界中有效导航、适应和互动所需的技能。
大会的亮点是黄仁勋与九个和他差不多大小的类人机器人一同亮相。在结束他的主旨演讲时,他由Orange和迪士尼研究中的著名Green BDX机器人陪伴,这些机器人不断打断并干扰他的演讲流程。有了NVIDIA的加持,迪士尼现在开始看起来更像是一家机器人公司。
黄教主表示:“下一代机器人技术很可能会是类人机器人。”他认为,由于这些机器人的模仿训练数据更加丰富,这使得它们变得更容易构建。他解释说,这是因为它们是根据人类构造来设计的。“很可能,人类机器人在我们的世界中会更加有用,因为我们创造了一个我们可以互操作并良好工作的世界,”他说。
有趣的是,GR00T可能是第一个专门为类人机器人设计的基石模型。它接受多模态指令和过去的互动作为输入,并产生机器人执行的下一个动作。强调其多模态性,黄表示GR00T通过人类示例学习,这些示例可能是“视频或虚拟现实形式”。
图片
NVIDIA已经开发了Isaac Lab,这是一个机器人学习应用程序,用于在Omniverse Isaac Sim上训练GR00T,以及Osmo,一个全新的计算编排服务,用于协调DGX系统上的训练工作流程和OVX系统上的模拟。有了这些工具,NVIDIA可以在模拟中训练GR00T,并将零次学习转移到现实世界。
“今天是我们在物理世界中解决具身AGI(人工通用智能)的登月计划的开始,”NVIDIA的具身AI负责人Jim Fan在X上写道。
1.合作正在展开
NVIDIA正在与顶尖的类人机器人公司合作,如1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics、XPENG Robotics等。最近,它还与Microsoft、OpenAI等一起投资了Figure AI。
几天前,机器人初创公司Figure分享了其第一个类人机器人与人类进行实时对话的视频演示。这个机器人由OpenAI模型驱动,可能是带有视觉的GPT-5,展示了高水平的视觉和语言智能。
在最近的一次与Lex Fridman的播客中,OpenAI首席执行官Sam Altman宣布OpenAI重返机器人领域:“我认为,如果我们有了AGI,而在物理世界中完成事情的唯一方式是让人类去做,这有点令人沮丧。”
2.释放Thor的力量
可能是受到漫威的启发,并与GR00T相呼应,NVIDIA开发了一个新的计算平台,名为Jetson Thor,专为类人机器人设计。它能够高效地处理复杂任务,并与人类和机器安全无缝地互动。
该平台的SoC采用了基于NVIDIA Blackwell架构的新一代GPU,配备了Transformer引擎,提供了800 teraflops的8位浮点AI性能。这使得平台能够高效运行像GR00T这样的多模态生成性AI模型。
不仅如此,NVIDIA还宣布了一系列预训练的机器人模型、库和参考硬件,称为Isaac Manipulator和Isaac Perceptor。后者将帮助类人机器人自主导航物理环境,无需预编程的两点间路径。例如,在仓库场景中,如果一个箱子掉落,类人机器人可以自己找到路径,而不用等待人类清理道路。
“有了Isaac Perceptor,我们拥有了令人难以置信的最先进视觉里程计、3D重建和深度感知,”黄仁勋说。另一方面,Isaac Manipulator为机械臂提供了先进的灵巧性和灵活的AI特性。
NVIDIA正在民主化机器人领域,就像它用GPU为LLMs所做的那样。“2024年是具身AI之年”的概念与Figure创始人Brett Adcock产生共鸣,他认为,能够完成复杂任务的先进AI很可能与可靠的类人机器人硬件并行发展,甚至略有领先。