ChatGPT、GPT-4 的火爆，让大型语言模型迎来了迄今为止的高光时刻。但下一步又该往何处去？
Yann LeCun 最近参与的一项研究指出，增强语言模型或许是个极具潜力的方向。
这是一篇综述文章，本文将简单介绍该论文的主要内容。
研究背景
大型语言模型极大地推动了自然语言处理的进步，相关技术造就了几个拥有数百万用户的产品，包括编码助手 Copilot，谷歌搜索引擎以及最近大火的 ChatGPT。将记忆与组合性功能相结合后，大型语言模型能够以超前的性能执行各种任务，如语言理解或条件和无条件文本生成，从而让更高带宽的人机交互成为现实。
然而，大型语言模型依旧存在一些限制，妨碍其进行更广泛的部署。大型语言模型通常提供非事实但看似合理的预测，通常被称为幻觉（hallucination）。这导致了许多本可以规避的错误，例如在算术上下文中或在推理链中。此外，通过可训练参数的数量来衡量，许多大型语言模型的突破性能力似乎随着规模的增加而出现，例如部分研究人员证明，大型语言模型达到一定规模后，就能够通过少样本 prompting 执行一些 BIG-bench 任务。尽管最近的一系列工作产生了小规模的语言模型，但这种语言模型仍保留了大模型的一些特性，大型语言模型的大小和数据需求的训练和维护成本依旧是高昂的。大型模型的持续学习仍然是一个开放的研究问题，此前 Goldberg 在基于 GPT-3 的聊天机器人 ChatGPT 的上下文中讨论了大型语言模型的其他局限性。
在最近的一项研究中，来自 Meta 等机构的研究者分析称，上述这些问题源于大型语言模型的一个本质缺陷：它们通常被训练为在给定 (i) 单个参数模型和 (ii) 有限上下文（通常是 n 个前面或周围的 token）的情况下执行统计语言建模。尽管由于近年来软件和硬件的创新，n 一直在增长，但与始终正确执行语言建模所需的潜在大型上下文相比，大多数模型仍然使用相对较小的上下文。因此，模型需要巨大的规模来存储上下文中不存在但执行手头任务所必需的知识。
论文链接：https://arxiv.org/pdf/2302.07842v1.pdf
因此，越来越多的研究都在以解决这些问题为目标，而稍微偏离了上述的纯统计语言建模范式。
例如，有一项工作是通过增加大型语言模型的相关性来规避有限的上下文大小，通过添加从相关外部文档中提取的信息来实现。通过为大型语言模型配备从给定上下文的数据库中检索此类文档的模块，可以在参数较少的情况下匹配一些最大语言模型的某些功能。注意，得到的模型现在是非参数的，因为它可以查询外部数据源。总体来说，语言模型还可以通过推理策略改善其上下文，以便在生成答案之前生成相关度更高的上下文，省去更多的计算。
另一种策略是允许语言模型利用外部工具，用语言模型权重中不包含的重要缺失信息来增强当前上下文。尽管这些工作中的大部分是为了减轻上面提到的语言模型的缺陷，但也直接说明了，更系统地使用推理和工具来增强语言模型可能会催生更强大的智能体。这些模型称为增强语言模型 (ALM)。随着这一趋势的加速，相关的研究数量急剧增长，此时需要对作品进行分类，并定义不同用途的技术术语。
本论文中使用的术语的定义如下：
推理。在增强语言模型的上下文中，推理是将一个潜在的复杂任务分解成更简单的子任务，语言模型可以更容易地通过自身或使用工具来解决。存在各种分解子任务的方法，如递归或迭代。从这个意义上讲，推理类似于 LeCun 2022 那篇论文《A Path Towards Autonomous Machine Intelligence》所定义的「规划」。在本文中，推理将经常涉及到提高语言模型推理技能的各种策略，例如使用少样本示例逐步（step-by-step）推理。目前还不完全清楚语言模型是否真的在推理，或者只是生成一个更大的上下文，从而增加正确预测缺失 token 的可能性。不妨参考其他研究人员（Huang and Chang (2022)）关于这一主题的讨论：尽管基于当前的 SOTA 结果，推理可能是一种语言滥用，但该术语已经在社区中使用。在增强语言模型中，上下文推理的一个更实用的定义是，在生成针对 prompt 的答案之前，给模型更多的计算步骤。
工具。对于增强语言模型，工具是一个外部模块，通常使用规则或特殊 token 调用，其输出包含在增强语言模型的上下文中。该工具可以收集外部信息，或者对虚拟或物理世界产生影响（通常由增强语言模型感知）。获取外部信息的工具的一个例子是文档检索器，而具有外部效果的工具是机械臂。工具可以在训练或推理时调用。总体而言，学习与工具交互可能包括学习调用它的 API。
行为。对于增强语言模型，行为是指调用对虚拟世界或物理世界有影响的工具并观察结果，通常是通过将其包含在增强语言模型的当前上下文中。例如，本文中提到的一些作品讨论了网络搜索或通过语言模型操纵机械臂。如果略微过度地使用术语一下，研究人员有时也会将增强语言模型对工具的调用表示为一种行为，即使它没有外部效果。
为什么要将推理和工具放在一起讨论？语言模型中的推理和工具的组合用来解决大批复杂任务，而不需要启发式，因此具有更好的泛化能力。通常，推理将促进语言模型将给定的问题分解为可能更简单的子任务，而工具将帮助使每一步都正确，例如从数学运算中获得结果。换句话说，推理是语言模型组合不同工具以解决复杂任务的一种方式，而工具是一种使用有效分解避免推理失败的方法。二者都应该从对方身上受益。此外，推理和工具可以放在同一个「罩」下，因为二者都增强了语言模型的上下文以更好地预测缺失的 token，尽管是以不同的方式。
为什么要将工具和行动放在一起讨论？语言模型可以用同样的方式调用收集额外信息的工具和对虚拟世界或物理世界有影响的工具。例如，语言模型输出用于求解数学运算的 Python 代码与语言模型输出用于操作机械臂的 Python 代码似乎没有区别。该论文中讨论的一些工作已经使用了对虚拟或物理世界有影响的语言模型。在这种观点下，可以说语言模型具有行为的潜力，其作为自动化智能体方向所取得的重要进展也值得期待。
本文将调查包含的研究分为三个部分来展开。第二节研究了上述定义的增强语言模型推理能力的工作。第三节重点介绍允许语言模型与外部工具交互并采取行动的工作。最后，第四节探讨了推理和工具的使用是通过启发式实现的还是通过学习实现的，例如通过监督或强化。调查还包括其他部分，作者在第五节中进行了讨论。简洁起见，调查集中于将推理或工具与语言模型结合起来的工作。最后，虽然本文的关注点在大型语言模型上，但并不是所有考虑到的研究都采用了大模型，因此为确保准确性，在其余的调查中也会坚持使用语言模型。
推理
以前的工作表明，大型语言模型可以解决简单的推理问题，而非复杂的推理问题：因此，本节重点介绍增强语言模型推理技能的各种策略。对于线性模型来说，复杂推理问题的挑战之一是通过将其预测的正确答案组合到子问题中来正确地获得解。例如，语言模型可以准确预测名人的出生和死亡日期，但可能无法准确预测年龄。部分研究人员将这种差异称为语言模型的组合性差距。本节的其余部分将讨论与语言模型中诱导推理的三种流行范式相关的工作。由于目前的工作重点是结合工具的推理，这里建议读者参考其他研究人员对大型语言模型推理的工作所进行的更深入的探讨。
工具和行为的使用
最近的语言模型研究路线允许模型访问不一定存储在其权重中的知识，例如事实性知识。更准确地说，诸如精确计算或信息检索之类的任务可以卸载到外部模块，如 Python 解释器或被模型查询的搜索引擎模块，在这些方面，这些模块会使用工具。此外，当工具对外部世界产生影响时，我们可以说语言模型执行了一个行为。以特殊 token 的形式轻松地包含工具和行为，这是结合了 Transformer 语言建模的一个方便特性。
在回顾了语言模型可以如何增强以锻炼自身的推理及应用工具的能力之后，这篇调查研究还介绍了如何教模型应用这些能力。
更多研究细节，可参考原论文。
