一年一度的国际人工智能顶会NeurIPS,全称神经信息处理系统进展大会(Neural Information Processing Systems),通常在每年12月份举办。
今年已经是NeurIPS举办的第36届,从11月28日开始共进行两周:第一周在美国新奥尔良举行,第二周则转为线上会议。
作为正式开会的「前菜」,按照惯例NeurIPS组委会会正式公布获奖论文名单,三项大奖分别是杰出论文奖(Outstanding Papers)、杰出数据集和基准论文奖(Outstanding Datasets and Benchmarks Papers)和时间检验奖(Test of Time Award)。
作为目前全球最负盛名的人工智能盛会之一,今年NeurIPS共收到了10411篇论文,其中2672篇在审查后获得接收,接收率仅为25.6%。
而能够最终获奖的论文,更是堪称万里挑一,完全能代表当今神经科学和人工智能研究的最高水平。
在获奖名单上,今年共有13篇论文获得杰出论文奖,数量是去年(6篇)的两倍;杰出数据集和基准论文奖和时间检验奖分别颁发了2篇和1篇,数量与去年持平。
根据NeurIPS的评语,委员会之所以选择这些论文,是因为它们「具有出色的创造力、洞察力、清晰度和改变世界的潜力」。
在获得杰出论文奖的13篇中,有3篇论文由华人团队提供,有2项成果更是由「全华班」完成。
值得一提的是,获得杰出数据集和基准论文奖的《MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge》,由美籍华裔院士、斯坦福大学教授李飞飞的两位弟子范麟熙(Linxi Fan,一作)和朱玉可(Yuke Zhu,联合advisor)等人完成。
这篇文章通过引进一种建立在《我的世界》游戏中的新框架MineDojo,提出了一种新颖的代理学习算法,能够解决以自由形式语言指定的各种开放式任务。
本年度获奖的16篇获奖论文中,有4篇都有斯坦福大学的研究员参与,而在2021年的评选中,他们同样有3篇入选。在人工智能研究领域,这所美国顶级名校的领先优势可见一斑。
最后,每年评选最有趣的奖,莫过于专门对古早时期论文进行评选的时间检验奖。
去年这一奖项由普林斯顿大学的研究员获得,今年则颁发给了多伦多大学的Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton于2012年发表的成果《ImageNet Classification with Deep Convolutional Neural Networks》。
在获奖原因中,NeurIPS的评委写道,「作为第一个接受ImageNet挑战训练的CNN,这项2012年的研究远远超过了当时最先进的技术,开启了新一波深度学习浪潮,并对机器学习社区影响深远。」
杰出论文奖
1、Is Out-of-Distribution Detection Learnable?
(Zhen Fang、Yixuan Li、Jie Lu、 Jiahua Dong、Bo Han、Feng Liu)
2、Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
(Chitwan Saharia、William Chan、Saurabh Saxena等)
3、Elucidating the Design Space of Diffusion-Based Generative Models
(Tero Karras、Miika Aittala、Timo Aila、Samuli Laine)
4、ProcTHOR: Large-Scale Embodied AI Using Procedural Generation
(Matt Deitke、Eli VanderBilt、Alvaro Herrasti等)
5、Using natural language and program abstractions to instill human inductive biases in machines
(Sreejan Kumar、Carlos G. Correa、Ishita Dasgupta等)
6、A Neural Corpus Indexer for Document Retrieval
(Yujing Wang、Yingyan Hou、Haonan Wang等)
7、High-dimensional limit theorems for SGD: Effective dynamics and critical scaling
(Gerard Ben Arous、Reza Gheissari、Aukosh Jagannath)
8、Gradient Descent: The Ultimate Optimizer
(Kartik Chandra、Audrey Xie、Jonathan Ragan-Kelley等)
9、Riemannian Score-Based Generative Modelling
(Valentin De Bortoli、 Emile Mathieu、Michael John Hutchinson等)
10、Gradient Estimation with Discrete Stein Operators
(Jiaxin Shi、Yuhao Zhou、Jessica Hwang等)
11、An empirical analysis of compute-optimal large language model training
(Jordan Hoffmann、Sebastian Borgeaud、Arthur Mensch等)
12、Beyond neural scaling laws: beating power law scaling via data pruning
(Ben Sorscher、Robert Geirhos、Shashank Shekhar等)
13、On-Demand Sampling: Learning Optimally from Multiple Distributions
(Nika Haghtalab、Michael Jordan、Eric Zhao)
杰出数据集和基准论文奖
1、LAION-5B: An open large-scale dataset for training next generation image-text models
(Christoph Schuhmann 、 Romain Beaumont 、 Richard Vencu等)
2、MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
(Linxi Fan、Guanzhi Wang、Yunfan Jiang等)
时间检验奖
1、ImageNet Classification with Deep Convolutional Neural Networks
(Alex Krizhevsky 、 Ilya Sutskever、Geoffrey E. Hinton)
详细获奖名单可见:
https://blog.neurips.cc/2022/11/21/announcing-the-neurips-2022-awards/