本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
AI大牛何恺明有了最新动向,而且是回归学术界。
MIT CSAIL实验室发布公告,3月13日下周一,何恺明将到MIT做学术演讲。
此事引起AI圈广泛关注。在相关知乎问题下,MIT博士@Charles指出,何恺明参加的这个研讨会全是Job Talks(求职演讲)。
杜克大学教授陈怡然也表示,一直听说何恺明在寻找教职,现在终于能确认了。
求职演讲是学术界一大传统,指申请博士或教职者到校做学术报告,内容是他们自己的研究成果,通常正是在每年三四月份集中进行。
并且进入这个阶段,就代表何恺明至少已经通过了简历筛选,研究成果和能力受到了MIT的认可。
还有网友预测,鉴于之前李飞飞到MIT演讲座无虚席,何恺明这回讲座恐怕也会非常火爆,成为深度学习大型追星现场。
但也有网友在评论区补充到,这不代表最终何恺明就会选择去MIT,也可能会去其他学校,但总之在找教职基本可以确定了。
或成为全MIT引用最高的人
虽然不确定何恺明最终的选择,但眼尖的网友已经发现,如果他真去了MIT,被引用次数将成为全校最高。
目前,MIT全校被引用次数最高的,是化学与生物医学工程系的重量级教授Robert Langer,次数为38万+。
△图源:谷歌学术
而何恺明被引用次数高达40万+。
△图源:谷歌学术
尽管不同学科无法直接这么对比,但何恺明的引用次数实在是太引人注目了。
有网友表示,虽然引用量不一定能说明太多问题,不过“引用量是天文数字的一定是大神”。
要论何恺明最高引研究,必须是ResNet。在2021年底突破10万大关,如今已经涨到15万。
ResNet本身虽为计算机视觉领域研究,但其核心思想残差连接已经跨界成为现代深度学习模型的基本组件。
开启上一次AI热潮的AlphaGo Zero就是结合了ResNet+强化学习+蒙特卡洛搜索共同完成。
而开启最新AI热潮的ChatGPT,其中的“T”也就是Transformer网络中同样使用了残差连接。
在计算机视觉上,何恺明的主要贡献还包括Faster R-CNN及后续的Mask R-CNN等一系列研究,在很多年都是目标检测的主流方法。
他的近期主要研究兴趣是无监督学习,21年底提出的MAE,将语言模型的掩码预训练方法用在视觉模型上,为视觉大规模无监督预训练大模型开路。
最近他还将掩码方法引入众多AI绘画应用的基础模型CLIP,把训练速度提升了3.7倍。
在MIT即将进行的演讲中,何恺明准备的主题也是“视觉智能”。
包括他在ResNet、目标检测方面的成果,以视觉无监督学习对未来研究的影响。
至于何恺明可能要加入的MIT CSAIL (麻省理工计算机科学与人工智能实验室),是麻省理工最大的实验室,也是世界著名的计算科学和AI实验室。
这里云集了众多计算机科学和AI领域的知名人物,包括万维网发明人Tim Berners-Lee,分布式计算和并发算法专家、图灵奖得主Leslie Lamport和Barbara Liskov等等。
当Meta AI有了产品压力
何恺明本科就读于清华大学,博士毕业于香港中文大学,2011年他加入微软亚洲研究院。
自2016年起他加入Facebook AI Research,也就是大名鼎鼎的FAIR,继续研究计算机视觉。
但就在最近一年之内,该部门已发生两次重大调整,都是增强应用型研究,削减基础研究。
去年6月,受公司转型元宇宙影响,FAIR被降级为元宇宙部门Reality Labs的下属组织。
同时,支持旗下各大APP的算法团队转移进产品工程团队。新架构给了产品团队更大权限,加速技术的应用落地。
今年2月底,扎克伯格面对ChatGPT热潮再次做出调整,宣布成立顶级AI产品团队。
把全公司搞AIGC的都集中起来。
多年前,在LeCun卸掉FAIR管理层、就任首席AI科学家时,还在FAIR的田渊栋、吴育昕等研究员都曾表示,在这一部门没有产品的压力。
但近期一系列调整下来,Meta流失不少研究型人才,包括带领过强化学习研究的Edward Grefenstette等至少4位知名学者离职,甚至位于伦敦的AI实验室失去了大部分顶级研究者。
从何恺明回归学术界的动向来看,他还是更倾向于搞基础研究。
One More Thing
就在这段时间,关于学术界与工业界的对比再次成了AI圈热点话题。
一方面,有网友指出工业界大厂的日子不好过,工程、应用型的岗位增加,研究型的越来越少。
另一方面则是大模型当道,AI科研成本指数级增加,连顶刊Science都在正刊发文表示:学术界与工业界掌握的算力已不在一个数量级。
两者夹击之下,AI大牛回归学术界和离开大厂创业成了同时存在的两股趋势。
回归学术界的代表除了何恺明,代表人物还有谷歌Tensorflow创始成员Pete Warden。国内也有蚂蚁金服原副总裁漆远加盟复旦、商汤原执行研究总监代季峰加盟清华等。
离开大厂创业的代表人物则有谷歌Transformer作者们出走成立Adept AI、Character.AI,以及前两天刚曝出的亚马逊李沐与Alex Smola携手创业。
在《如何看待Kaiming面试MIT教职?》的知乎热议话题下面,一个高赞回答是: