刚刚,图灵奖得主Yann LeCun在推特发布了一条动态:「投了3篇,拒了3篇……如果从推文统计的话,ICML今年应该拒绝了每一篇论文。」
是的,ICML 2022的审稿结果,已经在这几天通过邮件发送给各位作者。
这届ICML共收到5630篇提交,其中1117篇被接收为短论文,118篇被接收为长论文,接收率为21.9%,与上一年的接收率(21.5%)基本持平。根据以往的经验,很多论文被接收的作者会在社交媒体平台公开介绍自己的研究。但在今年,被拒稿作者的发言似乎比往年更多,也更「激烈」:「自豪地宣布……我在今年ICML的接收率为NaN(Not a Number)。」
「所有的ICML投稿都被拒了!」
「从我的信息流推送里,只看到了ICML的拒稿,没看到接收。」
「祝大家ICML拒稿日快乐……」看完各种吐槽,有人心中产生了一些疑问:到底有论文被ICML 2022接收吗?
ICML 2022的新审稿机制
这些年,各大著名人工智能会议提交的论文数量出现了大幅度增长。鉴于这种大型会议的规模和紧迫的时间安排,ICML程序委员会也做出了相对调整:引入两阶段评审(two-phase reviewing)。这一机制将评审过程分为两个阶段,初衷是更好地分配审稿人资源并提供高质量的 review。大致而言,对于一篇投稿,最初只分配两个 review,而不是分配三个 review。如果这两个 review 一致认为一篇论文应该被拒稿,那么它就不会得到进一步的 review。审稿的第二阶段是为剩下的论文分配两个额外的 review。也就是说,这次ICML的审稿意见不再具体包含分数,但第一阶段审稿结束后,会有一个最终结论决定这篇投稿还能否进入第二阶段评审。
在投稿人收到的邮件里,ICML组委会这样说道:
审稿过程包括两个阶段,我们努力实现尽可能公平和彻底的决策过程。这些决定由高级元审稿人和程序主席在审稿人讨论中审议,并在多个层面进行各种检查。在困难的情况下,也征求了更多的评价。
但这种审稿制度并没有得到太多投稿人的认可,因为大家收到了各种「神奇」的审稿意见:「写的很好,也容易理解。理论分析扎实、合理,给出了一个有趣而清晰的方法……这篇论文解决了一个有趣的问题……但有些不足以被接收。」
「虽然我的一些论文被接收了,但我最喜欢的那篇投稿被拒了。为什么作者要为低水平审稿付出代价?太荒谬了……」
「不会再向ICML投稿了」
对于这次的ICML审稿结果,UC伯克利教授马毅也连续发布了几条动态吐槽:
ICML的元审稿是很随意的!在rebuttal中,我们完全按照审稿人的要求做了,但AC拒稿了而且表示『不确定这个在短时间内进行的新实验是否准确地完成了』。如果根本不信任rebuttal,那为什么要有这个环节呢?
「没有审稿人的分数,ICML 的审稿过程就变成了 AC 操纵的黑箱。至少深度网络是具有可量化输出的黑箱。ICML 审查过程已成为一个没有可量化输出的黑箱。我不会容忍这样的程序。」
「鉴于我去年在 ICML 的经历——那篇被四位审稿人一致接收但最终被 AC 拒绝且没有任何具体证据的论文,再加上今年的经历,我想我以后不会再向 ICML 提交任何论文了。」
马毅教授提到的「去年经历」也曾引发热议:论文《ReduNet:A White-box Deep Network from the Principle of Maxinizing Rate Reduction》得到了ICML2021四位审稿人的一致接收,但是AC认为「这篇论文尚不能解释目前深度神经网络的所有tricks」,因此决定拒稿。后来,这篇文章被JMLR接收。
当时,马毅教授也向ICML组委会建议将论文评审转移到openreview,这也是很多研究者的心声:
有研究者表示,相比之下,自己更喜欢「透明且负责」的ICLR会议: