用Vision Pro实时训练机器狗!MIT博士生开源项目火了

人工智能 新闻
MIT小哥利用Vision Pro的手部追踪功能,成功实现了对机器狗的实时控制。

Vision Pro又现火爆新玩法,这回还和具身智能联动了~

就像这样,MIT小哥利用Vision Pro的手部追踪功能,成功实现了对机器狗的实时控制。

图片

不仅开门这样的动作能精准get:

图片

也几乎没什么延时。

图片

Demo一出,不仅网友们大赞鹅妹子嘤,各路具身智能研究人员也嗨了。

比如这位准清华叉院博士生:

图片

还有人大胆预测:这就是我们与下一代机器互动的方式。

图片

项目如何实现,作者小哥朴英孝(Younghyo Park)已经在GitHub上开源。相关App可以直接在Vision Pro的App Store上下载。

用Vision Pro训练机器狗

具体来看看作者小哥开发的App——Tracking Steamer

顾名思义,这个应用程序旨在利用Vision Pro追踪人类动作,并将这些动作数据实时传输到同一WiFi下的其他机器人设备上。

动作追踪的部分,主要依靠苹果的ARKit库来实现。

其中头部追踪调用的是queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。

手腕和手指追踪则通过HandTrackingProvider实现。它能够追踪左右手腕相对于地面框架的位置和方向,以及每只手25个手指关节相对于手腕框架的姿态。

图片

网络通信方面,这个App使用gRPC作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅,包括Linux、Mac和Windows设备。

另外,为了方便数据传输,作者小哥还准备了一个Python API,让开发者能够通过编程方式订阅和接收从Vision Pro流式传输的追踪数据。

API返回的数据是字典形式,包含头部、手腕、手指的SE(3)姿态信息,即三维位置和方向。开发者可以直接在Python中处理这些数据,用于对机器人的进一步分析和控制。

就像不少专业人士所指出的那样,别看机器狗的动作还是由人类控制,事实上,相比于“操控”本身,结合模仿学习算法,人类在这个过程中,更像是机器人的教练。

而Vision Pro通过追踪用户的动作,提供了一种直观、简单的交互方式,使得非专业人员也能够为机器人提供精准的训练数据。

作者本人也在论文中写道:

在不久的将来,人们可能会像日常戴眼镜一样佩戴Vision Pro这样的设备,想象一下我们可以从这个过程中收集多少数据!

这是一个充满前景的数据源,机器人可以从中学习到,人类是如何与现实世界交互的。

最后,提醒一下,如果你想上手试一试这个开源项目,那么除了必备一台Vision Pro之外,还需要准备:

  • 苹果开发者账户
  • Vision Pro开发者配件(Developer Strap,售价299美元)
  • 安装了Xcode的Mac电脑

嗯,看样子还是得先让苹果赚一笔了(doge)。

项目链接:https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

责任编辑:张燕妮 来源: 量子位
相关推荐

2022-04-08 07:54:40

人工智能核算结果Python

2024-01-02 09:30:13

模型AI

2022-12-29 16:41:10

PPT

2023-07-30 15:22:47

2023-07-31 09:54:12

2021-01-15 09:30:36

算法技术数据

2021-07-19 15:02:48

机器人人工智能算法

2023-11-20 09:35:00

模型AI

2023-10-12 16:34:20

Firefox计时器应用

2022-05-26 15:03:54

芯片技术

2023-10-14 13:24:24

职场研究

2020-01-29 19:35:17

开源技术 软件

2021-11-08 10:01:04

AI 数据语言模型

2021-10-11 10:30:46

机器学习人工智能计算机

2021-04-09 14:59:15

技术研发指标

2014-06-23 10:26:23

Wi-Fi

2019-07-03 09:01:29

博士生顶会计算机

2021-07-24 11:03:37

AI 数据人工智能

2021-02-20 21:04:53

人工智能机器学习技术

2024-10-21 15:14:54

点赞
收藏

51CTO技术栈公众号