微软AI老将官宣加盟OpenAI!
Information爆料称,微软AI副总Sebastien Bubeck即将离职,加入OpenAI继续投身开发AGI。
另一边,前脚离职OpenAI的CTO Mira Murati似乎也要自立门户寻求融资。
而且,她还要从前东家挖人,一直与OpenAI员工讨论可能创业的下一个项目。
此前,离职后的Karpathy创办了一家名为Eureka Labs的AI教育公司;Ilya创办了SSI安全超级智能公司...
有网友表示,OpenAI正打开AI初创企业的生态系统。
微软Phi之父叛逃OpenAI
有Sebastien Bubeck这样的大佬加入,也是OpenAI幸事。
Bubeck在微软任职已有十年,此前在普林斯顿大学担任了3年的助理教授。
过去两年里,他在微软最为人熟知的贡献在于——领导团队开发了Phi系列小模型。
23年6月,Phi-1小模型首次亮相,便以优异的成绩击败了GPT-3.5。正如论文标题所言,「教科书级」数据才铸就了高性能的小模型。
至此,「教科书级数据质量」成为了他们的一种坚定信仰。
论文地址:https://arxiv.org/pdf/2306.11644
3个月后,研究人员迭代出Phi-1.5,13亿参数就能跑通代码、聊天问答等场景。
12月Phi-2横空出世,更是取得了「以小博大」的成功。仅以27亿参数,就击败了比自己大25倍的模型。
再到今年4月,原团队发布了Phi-3系列模型,包含了mini(38亿参数)、small(70亿参数)和medium(140亿参数)三个版本。
论文称,Phi-3可以在iPhone上运行,每秒即可生成12个token。
论文地址:https://arxiv.org/pdf/2404.14219
到了8月,最新一版的Phi-3.5出世,上下文达到了128k,并且首次引入了MoE架构、视觉模型。
这些模型在测试基准上,击败了谷歌Gemini 1.5 Flah、Llama 3.1-8B。甚至,在某些基准上,还超越了GPT-4o。
在Scaling Law信仰下,一直奔向万亿参数LLM科技巨头,转向SLM领域在业界引发一场热议。
Bubeck曾在去年一篇研究论文中指出,Phi模型使用OpenAI模型生成数据进行了训练,相较于GPT系列模型,它的参数规模更小,运行成本更低,还能够实现几乎一致的性能。
OpenAI每次发布模型后,微软紧跟着将其植入到自家产品,必应搜索、聊天机器人、办公全家桶、Copilot AI中。
但随着时间推移,微软已经在某些功能中,逐步采用Phi模型。
微软CEO纳德拉在过去一年里多次赞扬 Phi,将其定位为微软掌握的几个开源AI模型之一,表明公司并不完全依赖OpenAI的模型。
Bubeck表示,自己目前更加专注于理解「智能如何在LLM中出现的」,以及如何利用这种理解来提升LLM性能,最终建立AGI。
他更愿将这样的方法称之为「AGI物理学」,通过在不同尺度(参数、神经元、层、数据课程...)中发现。
AI系统的各个部分如何组合,才能创造出LLM惊人的行为?
他曾在1年前的演讲中,给出了更具体的解释。
地址:https://www.youtube.com/watch?v=XLNmgviQHPA
目前,Bubeck在OpenAI的具体职责,尚不清楚。
网友有一种强烈预感,OpenAI下一代小模型即将要来。
微软发言人在声明中表示,Bubeck已经决定离开,未来将进一步推进AGI的研发工作。我们期待他在OpenAI工作继续保持合作。
虽然领头人已经离开,Phi论文大多数合著者依然留在微软,并计划继续开发模型。
OpenAI的新威胁:前CTO Murati
在招聘和留住人才方面,OpenAI可谓是腹背受敌。
是的,它如今正要应对来自一位刚刚离职员工的挑战——前首席技术官Mira Murati。
正如前文所说,Murati下一个可能计划去创业,但还有一种可能性,是加盟前OpenAI副总Barret Zoph即将创办的新公司。
又或是加入其他科技公司,目前仍是未知数。
据称,OpenAI的一些研究员,可能会对Murati创业提议感兴趣。
据三位了解内情人士透露,自Liam Fedus晋升为训练后优化负责人后,OpenAI研究组织正处于动荡之中。
而且,团队的一些研究人员要求换队。
Fedus实际上接棒了Barret Zoph的职位,他们曾在谷歌AI团队任职。后者在上个月25日,与Murati、研究主管Bob McGrew同时突然宣布离职。
最近,还有一位ChatGPT开发者之一Luke Metz宣布离职,这一事件早于OpenAI员工股份回购计划。
OpenAI正努力应对,来自竞争对手的高薪招募。尤其是, Ilya Sutskever创业的新公司。
鉴于Murati辞职后,Zoph和McGrew表现出的团结姿态,暗示着她的招揽人才行动,可能会进一步考验Sam Altman的人才管理能力。
OpenAI安全研究VP在线招人
巧的是,OpenAI的安全研究副总裁Lilian Weng,同一天在推上发了一条招聘启事:
「我们正在招聘安全研究领域的研究科学家和工程师,热忱欢迎各路人才加入!研究方向广泛,包括但不限于:安全模型行为训练、对抗性鲁棒性研究、AI在医疗保健领域的应用、前沿风险评估等多个激动人心的领域。」
不过,对于现在的OpenAI,网友们并不相信他们会搞什么模型安全。