OpenAI官宣了有史以来,第一次收购。
刚刚,OpenAI收购了制作开源版「我的世界」的初创公司Global illumination,具体收购金额未知。
根据公告,Global illumination整个团队将加入OpenAI,未来专注于ChatGPT研发。
Global illumination是由Thomas Dimson、Taylor Gordon和Joey Flynn三人共同创立,是一家利用AI构建创意工具、基础设施和数字体验的公司。
OpenAI收购这个动作暗示着什么?
对此,英伟达高级研究科学家Jim Fan表示非常好奇:「下一步是什么?在GPT-5上运行多智能体文明模拟?也许「我的世界」就是打造AGI所需要的一切?」
图片
「八大金刚」加入OpenAI
Global Illumination于2021年创立,是一家总部位于纽约的数字产品公司。
最近,这家公司开发了最受欢迎的产品——开源多人在线角色扮演游戏「Biomes」。
项目地址:https://github.com/ill-inc/biomes-game
一直以来,Global Illumination所做的工作侧重在面向视觉的产品和服务上。
也就是说,OpenAI有可能正为ChatGPT拓展更多的图像/视频类功能,或者是为了构建Dall-E 2图像生成服务,又或是推出一个文本-视频产品,以与初创公司Runway的Gen-2竞争。
从另一面看,这家公司命名也是与众不同。
「Global Illumination」(全局光照)一词在计算机图形学领域已经使用了很多年,用于描述在3D物体上创建逼真光照效果的算法。
全局光照的最初算法之一是加州理工学院(Caltech)的研究员James Jim Kajiya在1986年提出的。
这家公司共有8位成员组成,3位创始人。有趣的是,官网每个人头像都用的是像素小人。
一些网友表示,此举是OpenAI的一次出色的「收购」,通过收购来收揽新人才。
在OpenAI公告中,也列出了Global Illumination团队在Instagram、Facebook、YouTube、谷歌、Pixar, Riot Games等著名公司做出贡献。
一起看看,OpenAI从这次收购得到背后团队的强大之处在哪?
Thomas Dimson
Thomas Dimson是Global illumination首席执行官。
在创办公司前,他大部分职业生涯在Ins度过。
2013年,Thomas加入Ins,成为首席工程师,并在5年后,升任为工程总监。
他被称为Ins「第16号工程师」,「Instagram内容排名算法原始创作者」,于2020年正式离职。
在Ins工作的7年里,他在Ins在迭代平台的发现算法方面发挥了重要作用,比如信息排名算法、探索排名、故事排名。
另外,他还发明了故事投票贴纸、Hyperlapse,emojineering等产品,并被Fast Company评为商业领域十大最具创造力的人之一。
去年,Thomas在为Future写的一篇文章中,透露了他领导的团队开发了Instagram的个性化内容排名/推荐系统,取代了默认的反向时间顺序推荐。
Taylor Gordon
Taylor Gordon是Global Illumination的首席技术官。
Taylor已有20多年的编程经验,并有8年以上的计算机科学教育,在领先的科技公司有10多年的工作经验。
他本人丰富经历,遍布许多实验室Facebook AI、Instagram、YouTube、谷歌、微软。
2019年,他在Facebook AI主要做计算机视觉研究。
同样,他在2015年加入Ins后,就领导了Feed排名的开发,专注于机器学习和基础设施组件的排名。
2012年,作为YouTube机器学习工程师,他主要负责视频推荐,领导了核心基础排名设施重构。
在微软期间,为必应搜索结果中的站内链接设计并构建了生产算法。在谷歌,负责内部核心服务和基础设施开发分析,以及监控软件。
Joey Flynn
Joey Flynn是Global Illumination的首席产品官。
他本人也曾在Facebook、Ins工作过,被外界誉为Facebook的顶级设计师之一。
2010年,他加入了Facebook,领导了一些重要的项目,比如,Chat Heads,以及Facebook的移动软件Home。
2014年,Flynn构思并打造了一款Facebook即时通讯应用Slingshot。
Alexei Karpenko
Alexei Karpenko本人也曾在Facebook、Midnox、苹果工作过。
Andrew Top
Andrew Top是YouTube电视应用程序背后应用程序平台Cobalt的技术主管,在YouTube工作了7年。
2012年,他作为一位图形负责人加入团队,为PlayStation 3、PlayStation 4和WiiU实现各自专有图形应用程序接口GLES图形API子集。
他还设计了Cobalt图形渲染堆栈,让嵌入式设备上的动画帧率速度比Chrome更快。
Andrew的其他贡献包括:
-设计了主要浏览器组件的高级布局,JavaScript引擎、Web API(包括DOM)、网络引擎和图形。
-设计并实现了一个跨平台的低延迟基于网络的解决方案,可以在电视和VR头显上观看YouTube的3D 360球形视频。
-设计用于监控和分析性能问题的系统。
Nick Cooper
Nick Cooper曾在Artifact、Ins、谷歌工作过。
Ian Silber
根据他的主页,Ian Silber也曾在Artifact、Ins任职。
Brandon Wang
团队里唯一一位华人研究员,曾在Riot Games、Pixar致力于游戏动画的研究。
他个人也是非常擅长实时渲染、基于物理渲染、以及Networked Gameplay。
如下,是Brandon Wang设计的部分项目。
开源版「我的世界」,用浏览器就能跑
「Biomes」是一个为Web构建的开源沙盒MMORPG(大型多人在线角色扮演游戏)。
只需打开浏览器,就可以建造、采集、玩小游戏等等。
而对于OpenAI来说,其实早在2022年的时候就提出了一种全新的VPT「视频预训练模型」,能够让AI学会了在「我的世界」里从头开始造石镐。
而整套流程需要一个骨灰级玩家至少20分钟的时间才能完成,总计要操作24000次。
研究地址:https://openai.com/research/vpt
具体来说,研究人员首先收集一波数据标注外包们玩游戏的数据,其中包含视频和键鼠操作的记录。
VPT方法概述
然后,利用这些数据制作逆动力学模型(inverse dynamics model,IDM),从而推测出视频里每一步在进行的时候,键鼠都是怎么动的。
这样,整个任务就变得简单多了,只需要比原来少很多的数据就可以实现目的。
基础模型训练数据对微调的影响
在训练了70000个小时以后,OpenAI的行为克隆模型就能实现其他模型做不到的工作了。
比如,怎么砍树收集木头,怎么用木头做木条,怎么用木条做桌子。而这一套事儿需要一个比较熟练的玩家操作小50秒的时间。
除了做桌子,模型还能游泳,打猎,吃东西。
甚至还有「跑跳搭」的骚操作,也就是起跳的时候脚下放个砖块或者木块,跳着跳着就能搭个柱子。这属于是骨灰级玩家的必修课了。
「跑跳搭」简陋版
而难度更大的制作钻石镐,则需要一系列漫长而复杂的子任务。
为了使这项任务易于处理,研究人员为序列中的每个项目奖励智能体。
他们发现,利用传统方法训练的RL策略几乎没有获得任何奖励,从不学习收集日志,而且很少收集木棍。
与之形成鲜明对比的是,基于人来数据微调后的VPT模型不仅可以学习如何制作钻石镐,而且在收集所有物品方面的成功率,甚至达到人类水平。
制作石镐
对此,有网友认为OpenAI Gym playgrounds就是一个「我的世界」。
在现实世界中应用这些系统之前,最好先在虚拟世界中进行练习,看看会发生什么。训练的速度可能也会更快。期待几个月后能看到一些「我的世界」加速运行的惊人视频。
这家初创公司的工程师团队来自高水平的设计团队,我认为ChatGPT很快得到大幅升级。
还有人认为,从Global Illumination做过的事情来看。他们的产品能力是OpenAI非常需要的,但是结合前几天的斯坦福AI小镇来看,这种高自由度运行成本低的沙盒游戏结合AI会有无限可能,所以OpenAI可能是看重了他们成员的产品能力,也可能纯粹的看上了这个高自由度的游戏。