Transformer在复杂推理任务中的新进展：多步逻辑推理中的匹配策略 精华

在自然语言处理（NLP）领域，Transformer是一种革命性的架构。Transformer模型因其卓越的语言理解和生成能力而成为了一个里程碑，它们在多种任务中展现出了前所未有的性能，从机器翻译到文本摘要，再到问答系统，Transformer模型已经成为了当今最先进的技术。尽管取得了巨大的成功，Transformer在执行复杂推理任务时仍面临挑战，特别是在需要多步逻辑推理的场景中。这些挑战主要表现在模型对于复杂问题的理解和解决能力上，尤其是当问题涉及到跨步骤的逻辑推导时。

5月27日，发表于全球最大学术论文平台arXiv的《Towards Understanding How Transformer Perform Multi-step Reasoning with Matching Operation》这篇论文深入探讨了Transformer模型如何通过匹配操作来执行多步推理。来自上海交通大学自然科学研究院、数学科学学院以及华为诺亚方舟实验室的研究团队通过构建专门的数据集，揭示了Transformer内部的匹配机制，并提出了一种新的匹配矩阵概念来量化模型的匹配能力。他们发现通过微小的初始化和调整LayerNorm的位置，可以显著提高模型的匹配能力，从而增强其推理能力。此外研究还发现Transformer能够在其架构内部并行地执行多个推理步骤，这一发现为理解模型的推理能力提供了新的视角，并为设计更高效的推理模型奠定了基础。

他们研究的动机源于对Transformer模型在执行复杂任务时的局限性的认识。尽管这些模型在单步推理任务中表现出色，但在需要连续多个逻辑步骤的推理任务中，它们的性能往往会下降。这种现象激发了研究者们对模型内部如何处理和整合跨步骤信息的好奇心，以及如何改进模型以更好地执行这类任务的探索。

论文的主要目标是揭示Transformer模型在多步推理任务中的工作原理，并提出有效的方法来增强其推理能力。通过构建专门的数据集和实验，研究团队不仅分析了模型的匹配机制，还探讨了不同初始化方法和LayerNorm位置对推理能力的影响。此外他们还提出了并行推理机制的概念，并基于此提出了关于模型推理能力上限的猜想。

研究团队的这些发现不仅为我们提供了如何改进Transformer模型的具体指导，也为未来在更广泛的人工智能系统中应用多步推理提供了理论基础。随着研究的深入，我们期待这些洞见能够推动人工智能向更高层次的认知和推理能力迈进。

一、相关工作

Transformer模型是一种基于自注意力机制的深度学习架构，它在处理序列数据时能够同时考虑序列中所有元素之间的关系。这种模型的核心优势在于其能够捕捉长距离依赖关系，这在传统的循环神经网络（RNN）和长短期记忆网络（LSTM）中是一个挑战。Transformer模型由编码器和解码器组成，其中编码器负责处理输入数据，解码器则生成输出。自注意力机制允许模型在不同位置的输入之间建立直接的联系，从而提高了处理复杂任务的能力。

多步推理是指在解决问题时需要进行多个逻辑步骤的推导过程。在人工智能领域，多步推理被广泛应用于各种复杂任务，如数学问题求解、法律案件分析、科学实验设计等。这些任务通常涉及到从给定的信息中推导出新的结论，需要模型具备强大的逻辑推理和决策能力。多步推理不仅能够提高模型的认知能力，还能够帮助模型更好地理解和解释复杂的问题。

最先进的模型，如GPT-4，通常采用横向思维策略，如思想链（CoT）提示，它多次调用模型以生成明确的中间推理步骤。这种方法通过横向延长思维过程来增强模型的推理能力。在CoT提示下，所有模型都可以在图1所示的示例任务中输出正确答案。作为横向方法的补充，作者团队的研究重点是Transformer模型的纵向思维能力，即在模型架构本身内执行多步骤推理的固有能力。他们的目标是揭示模型的推理能力如何随着深度而扩展，而不依赖于外部提示或多次调用。CoT提示和我们的多步骤推理分析为提高LLM的推理性能提供了互补的视角。

图1：LLM中多步骤推理的失败案例。正确答案是[r]（由于[w]→ </p>→ e→ [i]→ r他们对每个模型进行了9次测试。

为了深入研究Transformer模型的推理机制，他们设计了三种类型的多步骤推理数据集，并分析了模型的内部信息流。他们的研究表明，Transformer模型主要通过匹配运算来实现多步骤推理。他们提出了匹配矩阵的概念来衡量模型在每一层的匹配能力，发现即使对于未经训练的随机嵌入向量，模型也能保持良好的匹配能力。这表明Transformer模型可能已经学习了推理任务的本质。

匹配操作是Transformer模型在执行推理任务时的一种关键机制。它涉及到在模型的不同层之间匹配相关信息，以便正确地推导出答案。在多步推理任务中，匹配操作使得模型能够将前一步的输出作为下一步推理的输入，从而形成一个连贯的推理链。这种机制对于处理那些需要多个逻辑步骤的任务至关重要，因为它允许模型在每一步中都能够考虑到之前所有步骤的信息。通过优化匹配操作，可以显著提高模型在多步推理任务中的性能和准确性。

二、研究方法

这项研究加深了我们对Transformer推理机制的理解，并为进一步增强其推理能力提供了新的视角。从这项研究中获得的洞见有助于设计更高效的推理模型，并探索一般人工智能系统中的推理机制。

1. 数据集的构建和类型划分

为了理解Transformer在多步推理中的机制，他们设计了三种类型的多步推理任务。每两个标记在句子中代表一个推理关系。他们使用不同的标记方法生成以下三种类型的数据集：

类型1：最后一个标记是起点，标签是从起点开始的固定步骤推理结果。

类型2：最后一个标记是起点，标签是起点所在推理链的终点。

类型3：最后两个标记分别是起点和指定的推理步骤，标签是从起点开始的指定步骤推理结果。

他们设计了三种链结构：单链、双链和森林链。每个任务的链结构都是独特的。

图2：本研究中推理链结构和数据集类型的说明。我们考虑三种类型的推理链结构：单链、双链和森林链。这些结构根据不同的策略进行序列化和标记，从而产生三种数据集类型。

训练和测试数据：他们设计了一种方法来划分数据，使得训练集中的每一对1步推理对与测试集中的不同。具体来说对于训练集中的序列化推理链[x1][x2]… [xn]，所有标记满足以下条件：

x2i−x2i−1mod5∈[0,1,4]

对于测试集中的推理链，所有标记满足：

x2i−x2i−1mod5∈[2,3]

每个标记的值范围从20到100，即 ( x_i \in [20, 100] )。在这种设置下，他们检查了Transformer执行零样本上下文学习的能力，因为每对推理对在权重学习期间都没有被看到。

2. 模型架构的选择和设计

他们采用了仅解码器的Transformer。给定输入序列 ( Xin \in \mathbb{R}^{n \times d} )，其中n是序列长度，d是字典大小，模型首先应用嵌入层（目标嵌入和位置嵌入）来获得输入表示 ( X^{(1)} = X_{tgt} + X_{pos} \in \mathbb{R}^{n \times dm} )。每层的单头注意力计算如下：

其中 ( (W_V{(l)})T ) 表示 ( W_V^{(l)} ) 的转置。第l层的输出获得为：

之后，应用投影层将输出映射到目标空间 ( Y \in \mathbb{R}^{n \times d} )。最终输出通过应用于Y的softmax函数的argmax获得。模型架构和符号的详细描述可以在论文附录A中找到。

图3：执行两步推理的三层Transformer网络的信息流。实线表示通过注意力的信息传输，蓝色实线表示影响本例中结果的注意力信息流。蓝色虚线表示在该示例中影响结果的残余信息流。

第0-1层：信息融合。第一层的主要功能是奇偶对的信息注入，这是训练集的数据结构的结果，因为训练序列中的奇数位置的标记可以推断其后续的偶数位置的标记。该层的实现主要依赖于位置嵌入。

第1-2层：信息匹配。在信息融合之后，第一层中的偶数位置拥有来自两个令牌的信息，这两个令牌不是简单地相加在一起，而是以“[x2i-1]WV O（0）+[x2i]”，其中WV O“0”=WV（0），TWO“0），T。因此，在层1中发生匹配操作。具体来说，将起点表示为[A]，其查询将具有最大的内积，关键字为“[A]WV O（0）+[B]”，从而将[B]的信息传输到最后一个位置。他们的研究表明，这种匹配操作不需要“[B]”的参与以及序列的位置编码。相反，它仅通过“[A]”的查询来实现，即F（0）（X tgt A）WQ（1），T和“[A]WV O（0）”的关键字，即F◦ LayerNorm（0）.

3.实验设置和评估标准

研究团队通过一系列精心设计的实验来探索不同初始化方法、LayerNorm位置以及正交噪声添加对Transformer模型多步推理能力的影响。

实验设置

研究团队测试了不同的权重初始化方法，包括小的初始化、默认初始化和大的初始化。这些方法通过改变权重分布的尺度参数来控制模型在训练初期的状态。

实验中比较了LayerNorm的两种不同位置配置：后置LayerNorm（在自注意力和前馈网络之后）和前置LayerNorm（在自注意力和前馈网络之前）。

为了增强模型的匹配能力，研究团队引入了正交噪声。这种方法通过在模型的权重矩阵中添加噪声来提高匹配操作的效果。

评估标准

模型在测试数据集上的准确性是评估模型性能的主要指标。准确性反映了模型在多步推理任务中给出正确答案的能力。

泛化能力指的是模型在未见过的数据上的表现。研究团队通过在训练和测试数据集上使用不同的推理链来评估模型的泛化能力。

匹配能力是通过匹配矩阵来衡量的，它反映了模型在每一层中匹配相关信息的能力。匹配矩阵的最大对角属性是评估匹配能力的关键。

通过这些研究方法，研究团队深入探讨了Transformer模型在多步推理任务中的工作原理，并提出了有效的方法来增强其推理能力。这些方法不仅对于理解模型的内在机制具有重要意义，还为未来的模型设计和优化提供了新的思路和方向。

三、匹配机制的探索

在论文中研究团队深入探讨了Transformer模型的匹配机制，以实现多步推理。

1. 匹配矩阵的定义和性质

在Transformer模型中，匹配矩阵的概念是为了量化和理解模型如何在其内部层次之间进行信息匹配。

匹配矩阵是一个数学工具，用于衡量Transformer模型中不同位置之间信息匹配的程度。在模型的每一层，匹配矩阵通过计算输入序列中各个元素之间的关联强度来构建。具体来说，匹配矩阵可以表示为：

其中，( Q )、( K ) 和 ( V ) 分别代表查询（query）、键（key）和值（value）矩阵，( d_k ) 是键向量的维度，softmax 函数用于归一化计算得到的权重。

研究团队发现，即使对于未经训练的随机标记，匹配矩阵仍然能够保持最大对角属性。这表明模型能够识别并强调序列中最相关的元素，即使在没有经过特定训练的情况下。

泛化能力这一发现也暗示了Transformer模型具有在数据分布之外进行匹配的能力，这对于处理未见过的数据或进行零样本学习尤为重要。

匹配矩阵的这些性质对于模型的推理能力至关重要。在多步推理任务中，模型需要能够准确地匹配和推断出下一步的逻辑，匹配矩阵的效能直接影响了这一过程的成功。

图4：（a）匹配矩阵h（1）（Xtgt）。对角线元素显示出最大的值，这证实了匹配操作。请注意，X tgt 0～20和X tgt 100～120对应于从随机正态分布初始化的未经训练的令牌。（b） 匹配矩阵h（2）（Xtgt）。（c） 用不同的随机初始化方法为未训练的令牌匹配矩阵h（1）（X）和h（2）（X。最大对角线性质适用于所有情况，表明模型的泛化能力。（d） Ker（1）=WQ（1），TW K（1）WV O（0），T和Ker（2）=WV O。

通过深入理解匹配矩阵的定义和性质，我们可以更好地把握Transformer模型在复杂推理任务中的工作原理，以及如何通过改进匹配机制来提升模型的整体性能。这些洞见对于开发更先进的NLP应用具有重要的指导意义。

2. 匹配操作在多步推理中的应用

在多步推理任务中，匹配操作扮演着至关重要的角色。它不仅允许Transformer模型将前一步的输出作为下一步推理的输入，而且确保了信息在整个推理链中的连贯性和一致性。

匹配操作使得模型能够识别并关联序列中的相关信息，这对于执行需要多个逻辑步骤的任务至关重要。它通过自注意力机制，计算序列中各个元素之间的相关性，从而确定哪些信息是对当前推理步骤最为关键的。

在处理多步推理任务时，模型需要能够从一个逻辑步骤平滑过渡到下一个。匹配操作通过强化关键信息的表示，使得模型能够有效地进行这种过渡。例如，在解决数学问题时，模型可能需要先识别出问题中的已知条件，然后再推导出下一步的求解过程。匹配操作确保了模型在这一过程中能够持续跟踪和利用关键信息。

这种机制对于处理复杂的推理任务至关重要。它不仅提高了模型的推理效率，还增强了模型的推理准确性。匹配操作确保了模型在不同推理步骤之间能够保持信息的一致性，这对于生成准确和可靠的推理结果是必不可少的。

通过这种方式，匹配操作为Transformer模型提供了一种强大的工具，使其能够在多步推理任务中表现出色。这种能力对于开发能够处理复杂问题的人工智能系统具有重要的意义。

3. 初始化方法和LayerNorm位置对匹配能力的影响

在Transformer模型的研究中，初始化方法和LayerNorm位置对于模型的匹配能力和推理性能有着显著的影响。

初始化方法决定了模型权重在训练开始时的分布。不同的初始化方法会导致模型在学习过程中采取不同的路径，从而影响最终的推理能力。

小的初始化，即权重值从一个较小的范围内随机选择，被发现有助于模型在学习过程中更好地形成有效的匹配机制。这可能是因为小的初始化减少了模型在早期训练阶段的过度拟合风险，使得模型能够更好地捕捉和泛化训练数据中的模式。

LayerNorm是一种标准化技术，用于调整神经网络中的激活分布，以促进更快的训练和更好的性能。研究表明，将LayerNorm放置在自注意力和前馈网络之后（后置LayerNorm）比放置在它们之前（前置LayerNorm）更有利于匹配操作的形成。后置LayerNorm可能有助于模型在每个层次中更稳定地学习和匹配信息，从而提高了整体的推理能力。

表1：初始化和LayerNorm的比较。

图5：不同初始化和LayerNorm的Transformers在训练序列上的信息流和匹配分数的比较。具有较小初始化和postLayerNorm的模型在两层中都表现出较高的匹配分数。

正交噪声添加是一种正则化技术，它通过在模型的权重中引入噪声来提高模型的泛化能力。在匹配操作中添加正交噪声被发现可以增强模型的匹配能力。这种方法可能通过增加模型权重的多样性，使得模型能够在匹配过程中考虑更多的特征和模式，从而提高推理任务中的准确性和鲁棒性。

通过这些方法，研究团队能够显著提高Transformer模型在多步推理任务中的匹配能力，这对于提升模型的整体推理性能至关重要。这些发现为未来在Transformer模型上的研究提供了宝贵的见解，并为其他复杂任务中的模型设计提供了指导。

四、增强模型的匹配能力

研究团队探讨了如何增强Transformer模型的匹配能力，以提高其在多步推理任务中的性能。

1. 不同初始化方法对模型性能的影响

在Transformer模型的研究中，初始化方法对模型性能的影响是一个重要的考量因素。

初始化方法决定了模型权重在训练开始时的初始状态。这些权重是模型学习过程中的起点，因此它们的初始值对模型的学习能力和最终性能有着深远的影响。不同的初始化方法会导致模型在学习过程中采取不同的路径，这可能会影响模型在特定任务上的表现，尤其是在多步推理任务中。

小的初始化方法指的是将模型权重初始化为接近零的小数值。这种方法被发现有助于模型在测试数据集上的泛化能力。泛化能力是指模型对未见过的数据的处理能力。小的初始化通过减少模型在训练初期的过拟合风险，使得模型能够更好地学习和推广训练数据中的模式。

在多步推理任务中，小的初始化有助于模型更有效地捕捉和利用逻辑关系，从而提高推理能力。通过这些发现，研究团队证明了在Transformer模型中采用小的初始化方法可以显著提升模型在多步推理任务中的性能。

2. LayerNorm位置的选择及其对推理能力的影响

在深度神经网络中，Layer Normalization (LayerNorm)是一种关键的技术，它通过对每一层的激活进行归一化，有助于加速训练过程并提高模型的性能。在Transformer模型中，LayerNorm的位置选择对模型的推理能力有着显著的影响。

LayerNorm通过规范化输入的分布，帮助缓解训练过程中的梯度消失或爆炸问题。它对模型的内部状态进行标准化处理，使得训练过程更加稳定，同时也提高了模型对输入数据变化的鲁棒性。

研究团队通过实验发现，将LayerNorm放置在自注意力（Self-Attention）和前馈神经网络（Feed-Forward Neural Network, FNN）模块之后（即后置LayerNorm），比放置在它们之前（即前置LayerNorm）更有利于模型的推理能力。

后置LayerNorm有助于模型在多步推理任务中更好地整合信息。这可能是因为LayerNorm在处理完注意力和FNN模块的输出后，能够更有效地规范化这些信息，从而为下一步的推理提供了更加稳定和一致的基础。

在多步推理任务中，模型需要能够准确地串联起一系列的逻辑步骤。后置LayerNorm通过改善信息流动和整合，有助于模型更准确地执行这一过程。

这种配置使得模型在每一步推理时都能够考虑到之前所有步骤的信息，并且在不同推理步骤之间保持信息的一致性和连贯性。

LayerNorm的位置选择对于Transformer模型在执行复杂的多步推理任务时的性能至关重要。后置LayerNorm的优势在于它能够在模型的每一步中提供更加稳定和有效的信息整合，从而增强模型的推理能力。

3. 正交噪声添加方法及其效果

在Transformer模型的优化过程中，正交噪声添加方法被提出作为一种增强模型匹配能力的新技术。这种方法涉及在模型的权重矩阵中引入正交噪声，以改善和优化匹配操作的性能。

正交噪声是一种统计上独立的噪声，其特点是不同噪声源之间不存在相关性。通过在权重矩阵中添加正交噪声，可以增加模型权重的多样性，从而使模型在执行匹配操作时能够探索更广泛的特征空间。

添加正交噪声可以提高模型在处理不确定性和复杂模式时的鲁棒性。这种方法有助于模型在多步推理任务中更准确地识别和关联关键信息，尤其是在面对复杂或模糊的逻辑链时。

图6：不同可学习参数初始值的影响，α（l） 和β（l），关于模型的推理能力。当α（l） ini=0或α（l） 和β（l） 最初具有相同的符号，可以增强模型的推理能力。实线表示训练精度，而虚线表示测试精度。每个实验用五个随机种子进行。

实验结果表明，正交噪声的添加确实能够优化匹配操作，提高模型在多步推理任务中的表现。模型在添加了正交噪声后，在测试数据集上的准确率和推理能力都有所提升，证明了这种方法的有效性。

正交噪声添加方法为Transformer模型的匹配能力提供了一个有效的提升手段。这种方法通过增加权重的多样性，帮助模型在多步推理任务中实现更高的准确性和鲁棒性，是未来模型优化的一个有前景的方向。

五、并行推理机制与上限猜想

研究团队对Transformer模型的并行推理机制进行了深入研究。

1.并行推理的信息流分析

在Transformer模型中，并行推理是指模型能够在同一层内同时执行多个推理步骤。这一机制对于提高模型处理多步推理任务的效率至关重要。

研究团队通过分析信息在模型中的传播方式，揭示了Transformer模型在多步推理任务中的并行推理机制。信息流分析帮助研究者理解了模型如何在内部层次之间传递和整合信息，特别是在处理复杂的逻辑链时。

当推理步骤的数量超过或等于模型层数时，Transformer模型展现出其并行处理能力。在一层中同时执行多个匹配操作意味着模型可以在不增加额外计算层的情况下，处理更多的逻辑步骤。这种并行性显著提高了模型处理多步推理任务的效率。

在信息传播的过程中，模型从匹配标记的值逐渐转变为匹配标记的位置。这表明模型在不同层之间不仅匹配内容信息，还匹配位置信息。这种变化有助于模型在不同层之间整合不同类型的信息，从而在整个推理过程中保持信息的一致性和连贯性。

Transformer模型的并行推理机制是其在多步推理任务中高效性能的关键。通过在单层内并行处理多个推理步骤，模型能够更快地完成复杂任务，同时保持推理过程的准确性。

图7：（a）完成4步推理的4层Transformer模型的信息流。（b） 相对于基于信息属性规则传播信息时的迭代次数，最后一个位置中存储的信息令牌的数量。我们随机选择1000个句子进行模拟。蓝点表示模拟结果。（c） 每个信息乘以的系数。

2.模型推理能力的上限猜想

研究团队提出了一个关于模型推理能力上限的猜想，这一猜想基于对模型内部信息处理机制的深入理解。

研究团队观察到，当隐藏空间维度足够大时，不同的信息可以在独立的子空间中存储，而不会相互干扰。在这种理想化的假设下，模型的推理能力被认为可以实现指数级的增长。这是因为每增加一层，模型就能够处理更多的信息，并且在每一步推理中都能够并行地处理更多的逻辑步骤。

研究团队猜想，在理想情况下，如果模型的每一层都能够独立地处理信息，那么模型的推理能力将随着层数的增加而指数级增长。这意味着模型的推理能力上限可能远远超过我们目前的认识，尤其是在处理复杂的多步推理任务时。

在实际应用中，隐藏空间维度受到物理资源和计算能力的限制，这意味着理想化假设并不总是成立。此外前馈神经网络（FNN）和其他注意机制的存在也会影响信息的处理方式，进而影响模型的推理能力。因此，尽管理论上模型的推理能力可能实现指数级增长，但实际上模型的推理能力可能介于线性增长和指数级增长之间。

这一猜想为未来Transformer模型的研究提供了新的视角，提示我们在设计和优化模型时需要考虑到隐藏空间维度和模型架构的选择，以充分发挥模型的推理潜力。同时，这也为我们提供了一个探索目标，即如何突破现有的限制，实现模型推理能力的最大化。

3. 实际应用中的限制和潜在增长

在Transformer模型的研究和应用中，实际应用的限制和潜在增长是两个重要的考量因素。

大型语言模型如Transformer通常需要大量的隐藏空间维度来存储和处理信息。然而由于计算资源的限制，模型的隐藏空间维度往往无法达到理想状态，这限制了模型的推理能力。实际应用中，模型可能无法完全满足理论上的假设要求，如独立子空间的存储和信息的无干扰传递，从而影响模型的推理性能。

尽管存在上述限制，前馈神经网络（FNN）和其他注意机制的存在为模型提供了额外的能力，使其能够整合和处理不同类型的信息。这些机制有助于模型在有限的隐藏空间维度内实现更有效的信息处理，从而在一定程度上弥补了维度限制带来的影响。

虽然实际应用中的限制对模型的推理能力构成了挑战，但随着技术的进步和计算资源的增加，模型的推理能力仍有很大的增长空间。通过优化模型架构、提高计算效率以及开发新的训练策略，我们可以期待模型在未来能够处理更复杂的推理任务，并展现出更强的推理能力。

Transformer模型在实际应用中虽然受到一定的限制，但随着技术的发展，它们在推理任务中的性能仍有很大的提升潜力。研究团队的工作为我们提供了对这些限制和潜在增长的深入理解，为未来的研究和应用指明了方向。

六、讨论

本论文的研究成果对于理解和提升Transformer模型在多步推理任务中的能力具有重要意义。通过深入分析匹配机制，研究团队不仅揭示了Transformer内部的工作原理，还提出了增强其推理能力的有效方法。这些发现有助于推动Transformer模型在复杂认知任务中的应用，同时也为AI领域的研究者提供了新的研究方向和思路。

匹配机制的概念可以扩展到其他AI系统中，特别是那些涉及复杂决策和推理的系统。例如，在自动驾驶、医疗诊断、金融分析等领域，强化匹配机制可以提高系统处理多步骤问题的能力。此外，匹配机制的原理也可以应用于改进机器学习模型的训练过程，使其能够更好地从数据中学习和推广知识。

尽管本论文取得了显著的研究成果，但在将匹配机制应用于Transformer模型和其他AI系统中仍存在一些挑战和研究方向。例如，如何在不同类型的任务和数据集上验证匹配机制的普适性和有效性，以及如何进一步优化模型结构和训练策略以提高推理能力。此外，探索如何将匹配机制与其他AI技术（如强化学习、知识图谱）结合，以创建更加智能和适应性强的系统，也是未来研究的重要方向。

参考资料：​​​https://arxiv.org/abs/2405.15302​​

本文转载自 ​​大噬元兽​​，作者： FlerkenS