最近,互联网大佬纷纷投身大模型赛道。
昨天,李沐大神离职亚马逊、去做大模型的消息,如同惊雷一般炸响了大家的社交网络。
紧接着,今天又曝出前快手AI核心大佬李岩在2022年离职快手后成立的新公司,做的也是大模型。
显然,自从ChatGPT让全世界看到了AI上天入地般的应用场景,国内企业的AI模型层竞争,已经开始白热化了。
快手大佬李岩创业,进军多模态
李岩在2022年下半年成立了AI公司「元石科技」,主要进行多模态大模型的研发。
李岩是工号在75上下的快手老员工,也是快手AI技术研发的核心人物。
2015年11月,在时任快手CEO的宿华的支持下,李岩组建了内部第一个深度学习部门DL(Deep Learning)组,目标是构建算法模型对违法违规的视频内容进行识别。
随后,快手对视频内容理解产生了更多的需求。2016年,李岩将团队的名字从DL组改为MMU(Multimedia understanding,多媒体内容理解)组,在解决安全合规问题之外,涉猎语音、文字、图像等多种形式的算法模型研发。
在2018年的CNCC大会上,李岩便以题为「多模态内容生产与理解」的演讲,强调了多模态模型技术的重要性:
- 改变人机交互的方式
- 使信息分发更加高效
以我们经常刷的短视频为例,除了视觉、听觉和文本这些多模态信息外,用户的行为也是另外一种模态的数据。
如此一来,视频的本身再加上用户的行为,就共同构成了一个非常复杂的多模态问题。
而多模态研究的目的便是,让人机交互的方式变得越来越自然和舒适。
然而,多模态的研究难度颇高。
一方面要面对单模态的语义鸿沟问题,以及如何针对不同模态的数据进行综合建模的异构鸿沟问题;另一方面,还要解决由于多模态数据集构建困难而造成的数据缺失问题。
当时,学术界有不少研究还是停留在单模态领域,而李岩则坚定地认为,未来多模态会成为更有价值的研究方向。
在快手的经历,让李岩对于AI在短视频上的生态有了第一线的深刻理解,2021年,他选择从快手离职。
2022年下半年,他成立了元石科技,根据36氪的独家求证,元石科技主攻的就是多模态大模型的研发。
师徒一体:写书、创业、再创业
而昨天,李沐大神疑似加入大模型创业的消息,也瞬间在社交网络上刷屏。
根据公号「亲爱的数据」消息,「参数服务器之父」Alex Smola在今年2月离职亚马逊,并创办了一家名为Boson.ai人工智能公司。
至于这家新公司的介绍资料并不多,目前官方页面还在建设中。
链接:https://boson.ai/
可以肯定的是,要做大模型相关的项目。
另根据Alex的领英主页介绍,「我们正在做一件大事。如果你对可扩展基础模型感兴趣,请联系我。」
值得注意的是,在这家公司GitHub主页上,亚马逊首席科学家李沐也贡献了代码。
因此,外界猜测李沐现已加入了Boson.ai,跟随导师一起去创业了。
不过,到目前为止,其主页还未更新。
李沐和Alex Smola曾在2016年创办了一家名为Marianas Labs数据分析算法公司。
当时,李沐任CTO兼联合创始人。
李沐曾在「博士这五年」一文中提到,
当时深度学习的火热导致各种巨资收购初创司不断。
Alex便和他拿了几十万的天使投资风风火火干了好一阵子,Alex写爬虫,他自己跑模型,后来卖给一个小上市公司公司1-Page。
要说师徒二人的相识最早是在卡耐基梅隆大学(CMU)。
2012年9月,李沐前往CMU深造,师从的便是Alex Smola。
当时,Alex还在谷歌任职,而且没有经费,就把他丢给了Dave Andersen。因此,李沐便有了两个导师,一个做机器学习,一个做分布式系统。
在CMU的前半年,李沐每周都会与两位导师一起聊一个小时。
由于两位导师风格迥异,而Alex反应特别快,想要跟上他的节奏很难。若想阐述自己的想法,需要做更多的功课。
而Dave会帮助李沐把一个东西理解透,不会给出很多想法。
在两个导师的辅导下,李沐迅速成长。
在CMU求学的第二年,正当余凯等人在做深度学习,李沐便也加入这波研究热潮。
基于对分布式深度学习框架的兴趣,他选择与陈天奇合作,将CXXNet作为起点,做深度学习相关项目。
在两人一起写xgboost 分布式启动脚本时,便发现文件读取可以是多个项目共同使用。
为了避免重复造轮子,李沐和陈天奇在合力在Github上创建了一个叫DMLC的组织,随后更是创建了随后大获成功的MXNet。
2016年7月,Alex加入了亚马逊。与此同时,李沐便带着MXNet先以兼职身份加入亚马逊,毕业后便选择留下。
2019年期间,师徒二人还曾在UC伯克利一起讲过课。
2021年,两人在斯坦福大学也一起讲授「Practical Machine Learning」。
值得一提的是,《动手学深度学习》这本书便是由李沐,美国伊利诺伊大学香槟分校计算机科学博士Aston Zhang,还有导师Alex一起所写。
这本书推出后便大受欢迎。作为MXNet的作者之一,李沐的这本《动手学深度学习》也是使用 MXNet 框架写成的
大模型路上,还有谁?
多模态的方向,是李岩很早就想做的。而李沐追随导师去创业,或许多少都受到了ChatGPT爆火的影响。
而国内企业的AI模型层竞争,已经开始白热化了。现在的大模型赛道中,挤满了巨头派、大佬派、海归/大厂高管派、小创业公司转型派、教授派、酱油派等各路选手。
2月13日,已经从美团退休2年的王慧文带着一纸「AI英雄榜」重回大众视野,称自己将拿出5000万美元「带资入组」,且「不在意岗位、薪资和title,求组队」。
前有王慧文把大模型创业的门票拉高到5000万美金之后,后有「出门问问」创始人李志文官宣下场大模型竞赛。
李志文曾在2020年领导团队,训练出大模型UCLAL
另外,还有前搜狗CEO王小川也发文隐晦地宣布,自己即将进入「中国的OpenAI」的战场,并向36氪承认自己在快速筹备中。
2月26日,衔远科技的创始人、首席科学家周伯文也发布一则消息称招募合伙人,一起打造中国版ChatGPT。
最近各种需求的激增,已经表明了国内生成人工智能产品的潜在市场大得惊人。
ChatGPT的爆火,意味着奇点已至,它引发了更底层、更深层的变化,新一代AI将融合物理世界和信息世界,实现知识、计算、推理的闭环。
短短两天内,就有两位大佬被曝下场创业,开辟大模型赛道。而国内巨头们预告的发布会,都将在几个月内召开。
所以,这场自开年就打响的AI大模型国内追逐赛,或许马上就能看到有选手冲刺终点了。