首篇完全由AI生成的论文，竟通过了ICLR 2025同行评审！
刚刚，Sakana AI正式亮相AI Scientist-v2版本，直接踢破了AI顶会的大门。
从提出科学假设、设计实验、到编写代码、运行实验、分析数据、绘制图表，再到撰写完整论文，所有环节均由AI完成。
研究人员向2025 ICLR Workshop，一共提交了3篇AI生成的论文，全部进入双盲评审。
显然，审稿人完全不知道，他们评审的是AI生成的作品，并且按照评审人类科学家论文的标准，进行严格评判。
3篇论文中，只有一篇Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization，平均获6.25的高分（6,7,6,6），远高于许多人类作者的论文。
论文地址：https://github.com/SakanaAI/AI-Scientist-ICLR2025-Workshop-Experiment/blob/master/compositional-regularization/annotated_paper.pdf
另外两篇全部败北。
Sakana AI特别强调，这是首次通过「与人类科学家相同标准」的同行评审论文。
AI科研历史性时刻来了！
AI闯入科研殿堂，全程无人干预
要知道，ICLR与NeurIPS、ICML并称机器学习和人工智能研究领域三大顶级会议。
如前所述，Sakana AI在由2025 ICLR主办的Workshop——ICBINB上，展开了这项实验。
这个研讨会涉及的议题非常广泛，挑战者（包括AI科学家）需要处理多样化研究课题，去解决深度学习的实际局限性。
https://sites.google.com/view/icbinb-2025
那么，AI论文是如何参与评审过程的呢？
评审过程
通过与ICLR Workshop商定，研究团队提交了3篇AI生成的论文，参与同行评审。
审稿人并未明确被告知，他们所评审的论文是由AI生成的。在ICLR Workshop「评审指南」中，明确规定了这一点。
关键在于，Sakana AI提交的AI生成论文，完全由「AI端到端」生成，未经任何人类修改。
AI Scientist-v2不仅提出了科学假设，设计了测试假设的实验，还编写并优化了实验代码，运行实验，分析数据，将数据可视化为图表。
并且，它还撰写了整篇科学稿件的每一个字，从标题到最后的参考文献，包括图表放置和所有格式。
全程没有人类参与，为了监督研究，Sakana AI研究员仅是为AI提供了研究的广泛主题，并提交了3篇他们自认为比较好的论文。
在提交的3篇论文中，其中两篇未达到接受标准。
另外一篇论文的平均得分为6.25，在所有提交中排名约45%。这一分数高于研讨会中许多被接受的人类撰写论文，高于平均接受门槛。具体评分为：
- 评分：6：略高于接受门槛
- 评分：7：好论文，接受
- 评分：6：略高于接受门槛
- 评分：6：略高于接受门槛
对AI生成论文的分析
除了同行评审过程，作为人类AI研究者，Sakana AI还对所有3篇AI生成论文进行了自己的分析和评审。
团队为每篇论文撰写了全面的评审意见。
除了自己的评审之外，Sakana AI还为每篇AI生成的论文添加了内联评论
他们扮演了ICLR会议审稿人的角色，向论文作者AI Scientist提出了自己发现的问题，并建议作者如何通过回应我们提出的问题改进论文。
与研讨会评审过程不同，这种双向交流是顶会或期刊典型同行评审过程的一部分，审稿人与作者共同改进作品。
如下图所示，AI Scientist偶尔会犯令人尴尬的引用错误。
在这里，研究团队发现它错误地将「基于LSTM神经网络」引用写成Goodfellow（2016），而正确的作者应是 Hochreiter 和 Schmidhuber（1997）。
除了评审和评论外，研究团队还在初审阶段，为每篇论文提供了初步评估分数，评估依据顶级ML会议（如NeurIPS、ICLR）的指南进行。
最终，他们得出结论：这3篇论文在其当前形式下，均未达到内部认为能被ICLR主会场接受的内部标准。
然而，他们认为提交至Workshop的论文能够提出有趣、原创的初步想法，可以进一步的大发展，因此研究人员认为它们可能更适合ICLR Workshop分会场。
目前，Sakana AI已在GitHub仓库中，公开了内部人类评审意见，以及这3篇AI生成论文。
项目地址：https://github.com/SakanaAI/AI-Scientist-ICLR2025-Workshop-Experiment?tab=readme-ov-file
AI中的不是主会，内部评审未通过
Sakana AI团队坦承，目前AI生成的论文，在其内部标准下尚未达到ICLR主会场的接受水平。
在ICLR、ICML、NeurIPS三大顶会主场，接受率通常在20-30%之间，而ICBINB Workshop接受率在60-70%之间。
尽管这只是Workshop，而非主会场的成果，但这一里程碑式突破预示着更大变革即将到来。
在未来的研究中，团队打算继续改进流程，生成更高质量的科学论文，争取通过顶级会议的标准。
Sakana AI还指出，AI Scientist主要基于当前最先进的LLM打造，因此其表现直接与这些LLM的性能相关。
如果前沿基础模型得到持续改进，那么AI Scientist也将不断提升。
主动撤回论文，科学规范不能破
值得一提的是，Sakana AI在进行这项研究时，高度重视透明度与伦理规范。
他们认为，科学界研究AI生成研究的质量非常重要，而最好的方法之一是，将少量样本提交至与评估人类科学研究相同的严格同行评审过程（前提是已获得管理这些过程的相关方许可）。
Sakana AI与ICLR组委会，以及Workshop组织者全面合作才展开的实验，并获得了不列颠哥伦比亚大学机构审查委员会（IRB）的批准。
此外，AI生成论文不会在OpenReview的公共论坛上公开。根据事先约定的实验协议，Sakana AI主动撤回了被接受的论文。
这是因为，AI和科学界尚未决定是否希望在相同场合发表AI生成的稿件。
团队认为，「作为一个共同体，我们需要制定关于AI生成科学的规范，包括何时以及如何声明一篇论文由AI生成」。
「AI科学家」的未来
Sakana AI坚信相信，AI Scientist的下一代将开启科学的新时代。
AI能够生成一篇通过顶级ML Workshop同行评审的完整科学论文，展现了非常有前景的早期进展迹象。
但，这只是开始。
随着AI继续改进，AI Scientist的能力可能呈指数级增长。
在未来某个时候，AI很可能会生成达到甚至超越人类水平的论文，不仅能在顶级ML顶会上被接受，还能在顶级科学期刊中发表。
