洞悉arXiv的LLM论文趋势 原创

大型语言模型 (LLM) 正在极大地影响 AI 研究，引发了关于迄今为止发生了什么变化以及如何塑造该领域未来的讨论。为了澄清这些问题，有研究人员分析新的数据集，其中包含16,979篇与LLM相关的arXiv论文，重点关注2023年与2018-2022年相比的最新趋势。

首先研究人员观察到LLM 研究越来越多地影响着社会，这从计算机和社会arXiv中LLM 论文提交量增长20倍可以看出。大量新作者来自非计算机的NLP领域，推动了各个学科扩展。

其次，令人惊讶的是2023 年行业出版物份额较小，主要是由于谷歌和其他大型科技公司的产出减少，亚洲的大学出版更多。

注意百分比的数字

2023年，LLMs的研究急剧增加，大约15%的新计算机科学和统计学论文都提到了LLMs，比2022年的7.5%有了巨大的飞跃。表明学术界对LLMs的兴趣增长得很快。

主要涉及如下六个方面：

1. 许多论文都集中在模型LLMs的设计和训练方法上。研究人员正在探索诸如Transformer架构、缩放定律以及如何在大型数据集上有效训练这些模型的方法。

2. 提高推理和推理能力是LLMs的主要研究领域。这包括整合外部知识，创建基准进行测试，以及使用高级技术来增强模型响应。

3. LLMs被用于问答、代码生成、任务自动化和创意写作等各个领域的应用领域研究也很热门。该领域主要着眼于LLMs可以做什么、局限性以及如何扩大实际用途。

4. LLMs对社会的影响和道德方面的研究也浮上了水面。在LLMs快速发展的过程中引发了错误信息、偏见、隐私和滥用等重要问题。

5. 如何解释和评估LLMs是另一个重点。研究人员正在开发和测试解释这些复杂模型的方法，旨在使它们更加透明和稳健。

6. 随着LLMs规模的扩大，找到有效的方法来使用和部署它们至关重要。这里的研究包括模型压缩、蒸馏和加速硬件的技术。

机构之间的合作关系，线段粗细代表合作的紧密度

该研究还着眼于谁在进行LLM研究以及这如何影响正在研究的主题。大多数LLM论文来自大学，但像Microsoft和谷歌这样的大型科技公司也做出了很大贡献。高被引论文通常拥有更大的团队，并且更有可能来自工业界而不是学术界。这表明科技公司的合作和资源可能有助于产生更有影响力的研究。

本文转载自 ​​鲁班模锤​​，作者： 庞德公