作为计算机视觉领域最顶级的学术会议,CVPR 这几年可谓是卷疯了。
据统计,从 2020 年到 2023 年,CVPR 每年的投稿数量以约 1000 篇的速度飞速增长。到了 2024 年,投稿数量首次突破了一万大关。
从投稿数来看,CVPR 已经是当仁不让的「宇宙第一大会」。要知道,从 2010 年到 2016 年,这 7 年间,CVPR 的投稿量仅增加了 400 余篇。
图注:在 Google Scholar 上,CVPR 的影响力排名仅次于 Nature。
为了升学或求职,坐拥多篇顶会论文,似乎成为大多数人的努力目标。但投稿数量翻倍也有许多副作用,比如审稿意见越来越短、研究题目越来越结果导向、borderline 越来越多、AC 给的 meta-review 的随机性越来越强。
去年 CVPR 出分时,就有网友写下《审稿 CVPR 而致的伤痕文学:没落的顶会与空虚的文章》一文吐槽这种现状。随着 CVPR 接收的论文数越来越多,人们不禁开始推测明年、后年、甚至十年后 CVPR 的审稿结果得有多「抽象」?
图源:https://www.zhihu.com/question/640845145
为了守护顶会的尊严,这一次,CVPR 对审稿制度开刀了!
由于投稿数量急剧增加和审稿质量的下降,CVPR 组织方在今天宣布,将对现行的会议规定进行如下重大调整。
以下是变更的主要内容:
1. 除非作者在 CVPR 2025 组织中担任其他角色,否则所有作者都都有义务担任审稿人。审稿数量将根据作者资历水平决定。
2. 如果审稿人被 AC 标记为「高度不负责任」,他提交的论文将由 PCs 酌情直接拒绝。
3. 每位作者最多提交 25 篇论文,超过数量限制的论文将被直接拒绝。
4. 在任何阶段,均不允许使用大型语言模型(LLMs)撰写 review 或 meta-review。
5. 在最终论文决策公布后,审稿人的名字将在 OpenReview 上对其他审稿人可见。
6. 每位投稿者都需要填写完整的 OpenReview 个人资料以便更好地进行分配和冲突检测,否则论文将被直接拒绝。
7. CVPR 2025 的 PCs 计划将 CVPR 2025 的审稿数据私下分享给未来相关会议的 PCs。这些数据将精准地「归责到人」,包括对审稿质量的评估以及迟交的统计数据。
CVPR 组织方宣称,规定强制审稿是基于 CVPR 2024 的参与情况,有大约 9000 名审稿人,但作者超过了 30000 人。鉴于论文被 CVPR 接受能获得的好处,他们认为如果作者不为审稿做贡献,对社区是不公平的。以其他身份参与 CVPR 2025 组织工作或担任 ICCV 2025 的总主席 / 程序主席的作者,可免除此规定。
那么,什么样的审稿意见会被 AC 打成「高度不负责任」呢?这条规则是对过去 AC 会给不太负责的审稿人评「没有达到期待」的补充。会被判的行为包含:审稿意见只有一两句、由大模型生成的审稿意见、与被审论文不相关或遗漏重要内容的审稿意见。一旦被 AC 评为「高度不负责任」,那将进入由 PC 们裁决的监督流程,最终是否直接拒绝论文,将由 PC 们酌情决定。
为单个投稿人规定投稿篇数上限,则是 CVPR 组织方期望论文中列出的每位作者都对工作做出了重大且有意义的贡献。根据统计网站 Paper Copilot 的数据,CVPR 2024 中单个投稿人中稿数量最多的正是 25 篇。
来源:https://papercopilot.com/paper-list/cvpr-paper-list/cvpr-2024-paper-list/
至于大模型在审稿意见中能参演的「戏份」,CVPR 组织方也做了明确规定:
1. 不能要求 LLM 为您撰写内容。评审需要基于您自己的判断。
2. 不能与 LLM 分享论文或您的评审的实质性内容。例如,不能使用 LLM 来翻译审稿意见。
3. 可以使用 LLM 进行背景研究或检查短语的清晰度。
高级 AC 将负责检查 (meta-) review 是否违反了以上规定,一旦被检查出来,投稿者也将进入由 PC 们裁决的监督流程。这项规定的决定性因素并非审稿意见是否出自 AI 之手(目前还无法准确判断),而是审稿人是否极不负责任,否则审稿人提交的论文将由 PC 们酌情直接拒绝。
新规一发布,就有不少研究者欢呼:「终于有人愿意管极其不负责任的审稿人了!」
此前,Neurips 也曾在 OpenReview 上公开过审稿人的姓名,确实起到了一定效果。
虽然这套强制审稿,并且要求审稿人保质保量完成审稿意见的「组合拳」拳拳到肉,也对「大水漫灌」树立了护栏,但是评论区更多的是质疑的声音。
其中,最多的质疑要数:「上限是 25 篇,还是太多了!」
对此,有网友提出,采用提交与审阅论文数量的比值作为规定,可能是一个更为合理的方案。
AAAI 2025 发布的公告也对单个投稿人的投稿数量进行了限制,每位作者最多只能向 AAAI-25 技术赛道提交不超过 10 篇论文,且提交后不得在论文上增加作者。
更令人担忧的是,这种做法真能从本质上提高审稿意见的质量吗?
首先,审稿本来是一种义务工作,强迫没有动力的审稿人参与,可能会适得其反。
其次,考虑到一篇论文通常涉及多位作者,该规定意味着一旦其中一位作者在审稿过程中表现不佳,整篇论文就可能面临被拒稿的风险,其他合著者也不得不为这位作者的失误承担责任。这种情况对于那些对论文贡献程度中等的作者来说,无疑会彻底改变他们的地位。
这可能也将导致本不富裕的审稿人数量「雪上加霜」。
对此,腾讯杰出科学家 (PCG ARC 实验室负责人) 单瀛也有类似的看法。