ICLR 全称为国际学习表征会议（International Conference on Learning Representations），今年将举办的是第十一届，将于 5 月 1 日至 5 日在卢旺达首都基加利线下举办。
在机器学习社区中，ICLR 是较为「年轻」的顶级学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办，2013 年才刚刚举办第一届。不过 ICLR 很快就获得了学术研究者们的广泛认可，被认为是深度学习的顶级会议。在 Google Scholar 的学术会议 / 杂志排名中，ICLR 目前排名第十位，要高于 NeurIPS。
据今年 2 月份公布的接收数据，在今年的接收统计中， ICLR 共接收近 5000 篇投稿，整体接收率为 31.8%，接近于去年的 32.26%。今年还有一个变化是接收论文的 tag 会有两个，一个是论文类型（oral、spotlight、poster），另一个是 presentation 的方式。
位于 top5% 论文内容涉及 Transformer、in-context learning、扩散模型等内容。
在近日公布的获奖论文中，共有 4 篇论文获得杰出论文奖，5 篇论文获得杰出论文奖提名。其中，来自北京大学的张博航、罗胜杰、王立威,、贺笛共同获得一篇杰出论文奖，清华大学孔祥哲、中国人民大学高瓴人工智能学院黄文炳、清华大学刘洋共同获得一篇杰出论文奖提名。
杰出论文奖
- 论文 1：Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
- 作者：Donggyun Kim, Jinwoo Kim, Seongwoong Cho, Chong Luo, Seunghoon Hong
- 机构：KAIST、微软亚研
- 论文链接：https://openreview.net/pdf?id=88nT0j5jAn
该论文提出了一种用于密集预测任务的少样本学习 pipeline，密集预测任务包括语义分割、深度估计、边缘检测和关键点检测等。该研究提出了一个简单的统一模型，可以处理所有密集预测任务，并包含多项关键创新。该研究将激发密集预测的进一步发展，所提方法 —— 例如视觉 token 匹配、情景（episodic）元学习 —— 可以用于相关的多任务学习问题。
- 论文 2：Rethinking the Expressive Power of GNNs via Graph Biconnectivity
- 作者：张博航, 罗胜杰, 王立威, 贺笛
- 机构：北京大学
- 论文链接：https://openreview.net/pdf?id=r9hNv76KoT3
该论文基于双连通性（biconnectivity）提出一种 GNN 表达性度量新指标。具体来说，该研究提出了一种利用节点间距离的新算法，并在合成数据和真实数据中进行了演示。该研究表明：双连通性问题在理论和实践中都有着广泛的潜在应用。
- 论文 3：DreamFusion: Text-to-3D using 2D Diffusion
- 作者：Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall
- 机构：谷歌研究院、加州大学伯克利分校
- 论文链接：https://openreview.net/pdf?id=FjNys5c7VyY
该论文提出了一种基于文本生成 3D 模型的有效方法，而无需 3D 模型作为训练数据。该论文的关键思想是利用本生成图像的扩散模型，并通过将误差信号反向传播到 3D 模型的神经辐射场来生成 3D 模型。该方法是 SOTA 图像生成和 3D 建模的巧妙组合，在实践中效果极好，并将启发各种后续工作，包括基于文本的 3D 视频生成。
- 论文 4：Emergence of Maps in the Memories of Blind Navigation Agents
- 作者：Erik Wijmans, Manolis Savva, Irfan Essa, Stefan Lee, Ari S. Morcos, Dhruv Batra
- 机构：佐治亚理工学院、Meta AI 等
- 论文链接：https://openreview.net/pdf?id=lTt4KjHSsyl
该论文基于认知科学和机器学习的跨学科方法，让仅具备自我运动（egomotion）（不具备其他任何感知）的导航智能体学得有效表征，并实现有效导航。该研究对表征学习具有重要意义。
杰出论文奖提名
除了 4 篇杰出论文，ICLR 2023 还有 5 篇论文获得杰出论文奖提名。
- 论文 1：Towards Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
- 作者：Zeyuan Allen-Zhu, Yuanzhi Li
- 机构：Meta、MBZUAI
- 论文链接：https://openreview.net/pdf?id=Uuf2q9TfXGA
该论文试图从一个新的理论视角来理解知识蒸馏。作者认为对于自然的多视图结构，没有蒸馏的情况下神经网络只能训练为仅依赖于部分特征，而蒸馏可以缓解这个问题。这篇论文提供了证明这一点的简化示例，有助于人们更好地理解知识蒸馏的有效性。
- 论文 2：Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
- 作者：Anton Bakhtin, David J Wu, Adam Lerer, Jonathan Gray, Athul Paul Jacob, Gabriele Farina, Alexander H Miller, Noam Brown
- 机构：Meta AI、MIT
- 论文链接：https://openreview.net/pdf?id=F61FwJTZhb
该论文的主题是多回合、多阶段、多人游戏的算法开发，提出使用一种类似于自我对弈（self-play）的策略来找到游戏均衡（equilibrium）状态，并在一个受人类玩家欢迎的复杂多人棋盘游戏上测试了该算法。其中，将寻求平衡的策略与行为克隆相结合。
- 论文 3：On the duality between contrastive and non-contrastive self-supervised learning
- 作者：Quentin Garrido, Yubei Chen, Adrien Bardes, Laurent Najman, Yann LeCun
- 机构：Meta AI 等
- 论文链接：https://openreview.net/pdf?id=kDEL91Dufpa
在自监督学习领域，各种方法似乎没有任何共同点，但在实践中却表现相似。该论文对各种自监督学习方法进行了分析探究，发现了它们的共同点。该论文展开研究了一些流行的自监督学习方法，证明其提出的理论能用于实际方法。这篇论文对自监督学习领域具有重要意义。
- 论文 4：Conditional Antibody Design as 3D Equivariant Graph Translation
- 作者：孔祥哲，黄文炳，刘洋
- 机构：清华大学计算机系，清华大学智能产业研究院，中国人民大学高瓴人工智能学院，北京智源人工智能研究院
- 论文链接：https://openreview.net/pdf?id=LFHFQbjxIiP
抗体设计是药物研发的一个重要问题，具有重要的应用前景。本文提出一种基于等变图神经网络的抗体设计方法 MEAN，在给定抗原、抗体重链和轻链的条件下，实现了抗体 CDRs 的设计和优化。与以往方法不同，MEAN 不但考虑了更全的「上下文信息」，而且能直接生成抗体 CDRs 的 1D 氨基酸序列及其 3D 构象，具有更高效率。在多个数据集的完整实验上，MEAN 显著优于已有方法。论文有望为后续湿实验研究提供一种高效的算法工具。
- 论文 5：Disentanglement with Biological Constraints: A Theory of Functional Cell Types
- 作者：James C. R. Whittington, Will Dorrell, Surya Ganguli, Timothy Behrens
- 机构：斯坦福大学、牛津大学、UCL
- 论文链接：https://openreview.net/pdf?id=9Z_GfhZnGH
该研究受生物学启发，揭示了机器学习和神经科学之间有趣的联系，并从数学上证明机器学习中的约束会导致线性网络解缠结（disentanglement）。该研究还通过实验表明，相同的约束对于非线性情况也是有效的。总的来说，这项研究从数学的角度对单个神经元和大脑结构给出了更深层的理解。
