聊天截图曝出AI顶会审稿潜规则!AAAI 3000块即可strong accept?

人工智能 新闻
最近,知乎上爆出一张AI投稿群的匿名聊天截图,网友讨论「加群互相bid」,还说3000块就可以买到一个AAAI的「strong accept」。

正值AAAI 2023论文截止提交之际,知乎上突然出现了一张AI投稿群的匿名聊天截图。

其中有人声称,自己可以提供「3000块一个strong accept」的服务。

爆料一出,顿时引起了网友们的公愤。

图片

不过,先不要着急。

知乎大佬「微调」表示,这大概率只是「口嗨」而已。

图片

据「微调」透露,打招呼和团伙作案这个是任何领域都不能避免的问题。随着openreview的兴起,cmt的各种弊端也越来越清楚,未来留给小圈子操作的空间会变小,但永远会有空间。因为这是个人的问题,不是投稿系统和机制的问题。引入open review和bid+随机匹配可能会有帮助。

而且他的个人观点是,文章发在NeurIPS还是AAAI还是IJCNN都无所谓,充分宣传让大家知道你在做什么就行了,citation会证明这东西有没有用。

图片

那么,这种风气是否在如今的顶会论文审稿中普遍存在呢?又是否已经有人因此「名利双收」了呢?

图片

万物皆可发家致富

在讨论之前,我们先来简单说一下这个bid到底是啥。

为了方便分配审稿人,有的会议会设置一个bidding环节让审稿人自己选择感兴趣的文章。然后系统就可以参考这些审稿人的选择进行论文的分配了。不过,审稿人在这个阶段只能看到论文标题和摘要。

而这其中,可就大有文章了。

图片

各种匿名爆料

另有知乎匿名网友表示,格局小了吧,有微信聊天截图为证,其实连best paper都是能互相bid的,这点小事算个啥。

有网友表示,今年投稿AAAI时,还一本正经地让填conflicted users、conflicting domain等等,但实际上作用不大。

图片

这位知乎匿名用户甚至提出了令人拍案叫绝的解决方案:用图神经网络、推荐系统等自动挖掘出以各个导师为中心的关系网络,再检查各大会议的bid数据、审稿数据、给分情况,这样异常节点和关系就可以轻而易举地挖出来,因为它们在图神经网络里像恒星一样耀眼。

或者干脆举办个顶会bid数据挖掘大赛。

图片

不过也有网友指出,这个所谓「3千块包SA」,其实是有bug的:

要知道,就算你强推了,其他审稿人一个borderline加一个weak reject,直接白给。毕竟这东西又不是算平均分录取的。而且分歧很大的话,AC也不可能给过的。

所以就算要给钱,也要用在「刀刃」上。这么一想,那就得找SPC或者AC了。但这时,你就需要考虑两个问题了(其实是一个):第一,人家这种level的,你给3000块就想搞定?第二,如果人家真给你搞定了,只会收你3000?

当然,除了吐槽外,还有一位「见义勇为」的senior reviewer表示,如果自己看到有审稿人给了「水文」高分,就会直接strong reject,然后写小作文狠狠地diss,而且现在连模板都已经拟好了。

图片

据说,所有会议和期刊都有类似的问题,只是比例和严重程度不同。此文中就不便多讲了。

图片

某匿名用户的建议,属实有才

审稿随机性有多大

AI顶会审稿的随机性究竟有多大呢?

在2021年,NeurIPS就曾做过一次审稿一致性实验。

根据港中文CS博士「电光幻影炼金术」的视频介绍,在这个实验中,同一份稿件有10%的概率会送给两组审稿人,两组审稿人互相不知道对方的存在。

图片

两组审稿人会分别进行评分,有两个领域主席对评分的结果作出决定。这样就可以定量分析,同一份稿件会有多大概率得到不同的审稿结果。

结果显示,第一组审稿人accept、第二组审稿人reject的概率是52%,这概率已经超过一半了。

而如果第一组审稿人reject,第二组审稿人也reject的概率是83%。

图片

这个结果和李飞飞的观点也是符合的。

李飞飞就曾发表过一篇很著名的讨论审稿的文章,提出了这两个观点:1.审稿过程是高度随机的。2.差的论文会得到差的审稿意见,这是随时间和随机性都不会改变的黄金规则。

图片

NeurIPS官方还进行了这样一个比较,每篇论文不进行审稿,随机决定,然后根据接收率和分歧率制成一条曲线,横轴是接收率,纵轴是分歧率。

图片

图中可见,如果接收率非常低或非常高,那么分歧率是不大的。

而中间的分歧率是最大的,如果说接收率是50%的话,分歧是最大的。

AAAI和IJCAI都是采用这种模式,用高拒绝率,来换取较小的随机性。

最后,「电光幻影炼金术」给出这样一份关于人工智能审稿的结论小结。

图片

风口浪尖上的AAAI

当初,AAAI 2022的审稿结果就饱受争议。

有人在社交媒体上表示,自己的论文得到了4个accept,最后还是被拒了。

图片

下面这位作者表示,4位审稿人均给出了「偏向接收」或「接收」的意见,在审稿意见中也都是正面评价:idea有趣、模型足够solid、实验和分析也够全面。

但最终结果却是:拒稿。

图片

对于AAAI 2023来说,采用的依然是两阶段+双盲的审稿形式

在第1阶段中,每篇论文会得到两名审稿人。如果收到的两份意见都是负面的,那么这篇论文就会被直接拒绝。其余的将进入到第2阶段。

在第2阶段中,每篇论文会得到至少两名新的审稿人。在新的审稿人提交自己的意见之前,他们是不会看到第1阶段的审稿结果的。

而进入第2阶段的论文作者,可以针对所有的审稿意见进行回应。程序委员会和高级程序委员会将会根据作者的反馈进行讨论。

至于具体的操作方法,可以参考下面的这篇论文。

该论文提出了一种新颖的审稿人-论文匹配方法,并且已经在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了应用(全部或部分)。

图片

论文地址:https://arxiv.org/abs/2202.12273最后只能说,目前看来投稿时能整的花活不多,投稿人唯一能做的就是尽量写出好文章,让自己的paper成为NeurIPS实验曲线里最右边的那一小搓。


图片

责任编辑:张燕妮 来源: 新智元
相关推荐

2023-01-14 14:33:06

AI审稿

2013-07-30 16:27:20

App Store潜规则

2010-12-01 10:53:09

IT培训

2010-07-22 16:01:44

2020-09-01 15:21:40

漏洞黑客加密

2010-10-18 11:35:53

职场

2013-08-26 09:49:10

系统故障

2024-05-09 11:24:20

AI论文

2024-09-12 14:46:03

2009-08-04 11:16:30

高性能计算HPC植物

2010-11-01 11:15:28

职场

2010-04-01 13:26:09

Oracle DBA

2017-04-10 09:38:17

移动广告作弊流量潜规则

2012-12-18 09:25:20

2021-06-25 07:13:16

戴尔电脑漏洞BIOS

2014-05-21 16:04:38

面试面试规则

2019-12-24 16:46:10

AI 数据人工智能

2021-05-28 10:10:22

AI 数据人工智能

2009-10-30 09:47:01

2011-04-22 15:55:33

吊顶正投投影机
点赞
收藏

51CTO技术栈公众号