自 2017 年首次举办以来,CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。CoRL 是面向机器人学习研究的 single-track 会议,涵盖机器人学、机器学习和控制等多个主题,包括理论与应用。
2023 年的 CoRL 大会于 11 月 6 日至 9 日在美国亚特兰大举行。据官方数据透露,今年来自 25 个国家的 199 篇论文入选 CoRL,热门主题包括 manipulation、强化学习等。虽然相比于 AAAI、CVPR 等大型 AI 学术会议,CoRL 的会议规模还相对小很多,但随着今年大模型、具身智能、人形机器人等概念的火热,CoRL 会议上的相关研究也非常值得关注。
目前,CoRL 2023 官方已公布最佳论文奖、最佳学生论文奖、最佳系统论文奖等奖项。接下来,我们将为大家介绍一下这些获奖论文。
最佳论文
- 论文:Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation
- 作者:William Shen, Ge Yang, Alan Yu, Jensen Wong, Leslie Pack Kaelbling, Phillip Isola
- 机构:MIT CSAIL、IAIFI
- 论文地址:https://openreview.net/forum?id=Rb0nGIt_kh5
论文简介:当前,自监督和语言监督的图像模型已经包含丰富的世界知识,这对于泛化来说非常重要,但图像特征是二维的。我们知道,机器人任务通常需要对现实世界中三维物体的几何形状有所了解。
该研究利用蒸馏特征场(Distilled Feature Field,DFF),将准确的 3D 几何图形与来自 2D 基础模型的丰富语义结合起来,让机器人能够利用 2D 基础模型中丰富的视觉和语言先验,完成语言指导的操作。
具体来说,该研究提出了一种用于 6-DOF 抓取和放置的小样本学习方法,并利用强大的空间和语义先验泛化到未见过物体上。使用从视觉 - 语言模型 CLIP 中提取的特征,该研究提出了一种通过开放性的自然语言指令对新物体进行操作,并展示了这种方法泛化到未见过的表达和新型物体的能力。
这篇论文的两位共同一作是 CSAIL 「具身智能」团队的成员 William Shen 和杨歌,其中杨歌是 2023 年 CSAIL 具身智能研讨会的共同筹办人。
机器之心曾详细介绍过这篇研究,请参考《大模型加持的机器人有多强,MIT CSAIL&IAIFI 用自然语言指导机器人抓取物体》。
最佳学生论文
- 论文:Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners
- 作者:Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar
- 机构:普林斯顿大学、Google DeepMind
- 论文地址:https://openreview.net/forum?id=4ZK8ODNyFXx
论文简介:从逐步规划到常识推理,大型语言模型(LLM)展现出大量在机器人领域未来可期的能力,但 LLM 存在幻觉问题。
基于此,该研究提出了一种新框架 ——KnowNo,用于度量和对齐基于 LLM 的规划器的不确定性。它能够使 LLM 意识到哪些信息是未知的,并在有需要时求助。
KnowNo 建立在共形预测(conformal prediction)理论的基础上,为任务完成提供统计保证,同时能够最大限度地减少多步骤规划任务中的人工干预。
该研究在各种模拟和真实机器人实验中,用各种模式的不确定任务(包括空间不确定性、数字不确定性等等)对 KnowNo 进行了测试。实验结果表明, KnowNo 在提高效率和自主性方面表现出色,优于基线,并且安全可信。KnowNo 能够在不进行模型微调的情况下直接用于 LLM,为模型的不确定性提供了一种有效的轻量级解决方法,并能够与基础模型不断增强的能力相辅相成。
最佳系统论文
- 论文:RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools
- 作者:Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu
- 机构:斯坦福大学、UIUC
- 论文地址:https://openreview.net/forum?id=69y5fzvaAT
论文简介:人类擅长制造和使用各种工具,但对于机器人而言,理解如何有效使用工具,并在相应的物体上完成操作仍然是一个很大的挑战。该研究构建了一个名为 RoboCook 的智能机器人系统,该系统能够通过各种工具感知、建模并操纵弹塑性物体(elasto-plastic object)。
RoboCook 使用点云场景表征,利用图神经网络(GNN)对工具与物体的相互作用进行建模,并将工具分类与自监督策略学习相结合,以制定操作计划。
该研究表明,对于每个工具,仅需 20 分钟的现实世界交互数据,RoboCook 就能学会并操纵机械臂完成一些复杂的、长时程的弹塑性物体操作任务,例如制作饺子、字母饼干等。
实验表明,RoboCook 的性能大大优于现有 SOTA 方法,对严重的外部干扰也能表现出稳健性,对不同材料的适应性也较强。
值得一提的是,这篇论文的共同一作分别是来自斯坦福大学的博士生 Haochen Shi、原斯坦福大学博士后研究员、现清华大学交叉信息科学研究所助理教授 Huazhe Xu,论文作者之一是姚班校友、斯坦福大学助理教授吴佳俊。
获奖论文完整入围名单