NeurIPS 2024评审结果已经公布了！
收到邮件的小伙伴们，就像在开盲盒一样，纷纷在社交媒体上晒出了自己的成绩单。
俄亥俄州立大学助理教授晒图，明明评审员给的评价是「论文接收」，却没想到最终决定是「拒收」。
应该给这位审稿人颁发一个NeurIPS 2024最佳AC奖
顺便提一句，今年是NeurIPS第38届年会，将于12月9日-15日在加拿大温哥华举办。
AI大佬晒出成绩单
一些网友们早已晒出了自己的录用结果，好像一件大事。
来自洛桑联邦理工学院（EPFL）的博士Maksym Andriushchenko称，自己有3篇论文被NeurIPS 2024接收。
它们分别是：
论文一：Why Do We Need Weight Decay in Modern Deep Learning?
论文地址：https://arxiv.org/pdf/2310.04415
权重衰减（weight decay），比如在AdamW中传统上被视为一种正则化的方法，但效果非常微妙，即使在过度参数化的情况下也是如此。
而对大模型而言，权重衰减则扮演者完全不同的角色。与最初一版arXiv论文相比，研究人员对其进行了很多更新。
Andriushchenko表示，自己非常喜欢这项新实验，并且匹配了AdamW有效学习率，得到了完全相同的损失曲线，而没有使用权重衰减。
论文二：JailbreakBench（Datasets and Benchmarks Track）
论文地址：https://arxiv.org/pdf/2404.01318
JailbreakBench是全新评估大模型越狱能力的基准。上个月，该数据集在HuggingFace上，被下载了2500次。
而且，多家媒体还使用了这个越狱神器，Gemini 1.5技术报告中也将其用于模型稳健性的评估。
论文三：Improving Alignment and Robustness with Circuit Breakers
论文地址：https://arxiv.org/pdf/2406.04313
这篇论文发布之初，已经掀起了不少的讨论。
其中最重要的一点是，它有助于训练Cygnet模型，其在越狱竞技场上表现出惊人的性能，而这正是对防御是否有用的测试。
来自UT Austin的副教授Qixing Huang也有三篇论文被NeurIPS录用。
它们分别是：
局部几何感知神经曲面表示法CoFie。
以及另外两篇，一个是参数化分段线性网络PPLN，另一个是关于时空联合建模的运动生成。
谷歌DeepMind团队Self-Discover算法被NeurIPS 2024录用。
中国有句古话：千人千面。正如每个人都是独一无二的，每个问题也是独一无二的。如何让LLM通过推理解决复杂的看不见的问题？
Self-Discover最新论文证明了，模型可以从一般问题解决技术的集合中，组成特定用于任务的推理策略。
最新算法在GPT-4和PaLm 2-L上的性能比CoT高32%，而推理计算量比Self-Consistency少10-40倍。
论文地址：https://arxiv.org/pdf/2402.03620
又是被吐槽的一届
不论是哪个顶会，吐槽是必不可少的。
这不，网友们对NeurIPS 2024审稿结果，吵成一锅了。
纽约大学工学院的助理教授称，一篇在NeurIPS提交中得分相当高的论文被拒绝。原因竟是：「模拟器是用C++编写的，而人们不懂C++」。
他表示，论文被拒的现象太正常了，但是对这个被拒理由，实在是令人震惊。
还有一位大佬表示，团队的两篇关于数据集追踪的NeurIPS论文被拒了，尽管评审结果有积极的反馈。
这显然是，组委会试图人为地标尺较低的录取率。
「根据录取率而不是成绩来排挤研究，这一点其实我不太确定」。
无独有偶，UMass Amherst的教员也表达出了这种担忧：
我看到很多人抱怨 NeurIPS的AC，推翻了最初收到积极评审论文的决定。
作为一名作者和评审员，我能理解这种做法有多令人沮丧。作为一名区域主席，我也经历过管理那些勉强达到录用分数的论文的压力，特别是当项目委员会要求更严格的录用率时。
有趣的是，NeurIPS已经变得像「arXiv精选」——突出展示前一年的最佳论文。
一位UCSC教授Xin Eric Wang表示，一篇平均得分为6.75的NeurIPS投稿被拒绝了。
他表示，这是自己收到第二荒谬的元评审，最荒谬的那次，是因为结果中没有加「%」就否决了论文。
无论论文质量如何，似乎总会有无数理由可以否决一篇论文。
元评审中提到的关键问题，在原始评审中只是小问题，而且他们团队已经在回复中明确解决。Xin Eric Wang怀疑AC是否真正阅读了他们的回复：
(1) AC提出了一个重大问题，这是基于一个得分为8分的评审者的小建议，引用了「大部分数据」，但实际数字小于10%（如回复中所述）。
(2) AC指出缺少统计数据，这些数据评审者从未提及，而且在论文正文中已经清楚地呈现。
LLM参与评审
而且AI火了之后，大模型也被用来论文评审。
这次，NeurIPS 2024也不例外。
Reddit网友评论道，自己用一个月的时间审核6篇论文，当看到自己得到的是LLM的评价，真的很受伤。
还有人指出，在自己审阅的论文中，至少发现了3篇由大模型生成的评审意见，很可能还有更多，其中3篇明显是直接复制粘贴了ChatGPT输出，完全没有阅读论文。
这些评审都给了6分，Confidence为4，与其他所有人的评价完全不一致。
更有网友评价道，「论文评论的质量很低」。
一个评审者混淆了我们方法的基线，另一个评审者混淆了基线的派生（正如我们的工作所批评的那样）和我们方法的派生。我怀疑一些评论是由LLM产生的。
