收藏！一文读懂 15 种注意力机制

在人工智能领域，尤其是深度学习中，注意力机制已经成为一种不可或缺的技术，它赋予了模型类似人类的“聚焦”能力，让模型能够从海量信息中筛选出关键部分进行处理。今天，我们就来深入探讨一下 15 种常见的注意力机制，帮助大家更好地理解它们的特点和应用场景。

1. 软注意力（确定性注意力）

软注意力机制是一种确定性的注意力分配方式。它会给输入数据的每个部分都分配一个权重，这些权重通过某种可学习的函数计算得出，通常是基于输入数据和查询向量之间的相似性。然后，模型会根据这些权重对输入数据进行加权求和，得到一个加权后的表示，用于后续的处理。这种方式的优点是计算过程是可微的，便于通过反向传播进行训练。不过，它可能会对一些不那么重要的信息也分配一定的权重，导致模型在某些情况下不够聚焦。

相关论文：《Neural Machine Translation by Jointly Learning to Align and Translate》

论文地址：https://arxiv.org/abs/1409.0473

2. 硬注意力（随机注意力）

与软注意力不同，硬注意力机制是随机的。它会在输入数据的不同部分之间进行采样，每次只关注一个特定的部分，而不是像软注意力那样对所有部分都分配权重。这种随机性使得硬注意力在某些任务中能够更有效地探索数据的不同方面，但同时也带来了训练上的困难，因为随机采样过程是不可微的，需要一些特殊的技巧来进行优化。

相关论文：《Effective Approaches to Attention-based Neural Machine Translation》

论文地址：https://arxiv.org/abs/1508.04025

3. 自我注意力

自我注意力机制主要关注输入数据内部不同部分之间的关系。它不需要额外的上下文信息，而是通过计算输入序列中每个元素与其他元素之间的相似性来分配注意力权重。这种机制在处理序列数据时非常有效，因为它能够捕捉到序列内部的长距离依赖关系，例如在自然语言处理中的句子结构分析中，可以更好地理解句子中不同单词之间的语义联系。

相关论文：《Attention Is All You Need》

论文地址：https://arxiv.org/abs/1706.03762

4. 交叉注意（编码器 - 解码器注意）

交叉注意力主要用于编码器 - 解码器架构中，它让解码器能够关注编码器生成的上下文信息。具体来说，解码器在生成输出的过程中，会根据当前的解码状态和编码器的输出来计算注意力权重，从而选择性地关注编码器中与当前解码任务最相关的部分。这种机制在机器翻译、文本摘要等任务中发挥着重要作用，使得模型能够更好地在源语言和目标语言之间建立对应关系。

相关论文：《Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation》

论文地址：https://arxiv.org/abs/2104.08771

5. 多头注意力 (MHA)

多头注意力机制是对自我注意力的一种扩展。它通过将输入数据分成多个不同的“头”，每个头都独立地计算注意力权重，然后将这些头的输出进行拼接或加权求和，得到最终的注意力表示。这样做的好处是可以让模型从多个不同的角度来关注输入数据，捕捉到更多样化的特征和关系，从而提高模型的表达能力和性能。多头注意力是 Transformer 架构中的核心组件之一，在各种自然语言处理任务中都取得了显著的效果。

相关论文：《Attention Is All You Need》

论文地址：https://arxiv.org/abs/1706.03762

6. 多头潜在注意力 (MLA)

多头潜在注意力是在多头注意力的基础上引入了潜在变量的概念。它试图通过学习潜在的注意力分布来更好地捕捉数据中的复杂结构和不确定性。与传统的多头注意力相比，多头潜在注意力可以更加灵活地建模注意力权重的变化，从而在一些复杂的任务中表现出更好的适应性和鲁棒性，例如在处理具有噪声或模糊性的数据时，能够更有效地提取有用的信息。

相关论文：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》

论文地址：https://arxiv.org/abs/2405.04434

7. 基于记忆的注意力

基于记忆的注意力机制引入了记忆模块，模型在计算注意力权重时会同时考虑输入数据和记忆中的信息。记忆可以存储之前处理过的数据或者一些先验知识，这样模型在当前的处理过程中就可以参考这些记忆来做出更准确的决策。例如，在对话系统中，基于记忆的注意力可以让模型更好地理解对话的历史上下文，从而生成更加连贯和准确的回答。

相关论文：《End-To-End Memory Networks》

论文地址：https://arxiv.org/abs/1503.08895

8. 自适应注意力

自适应注意力机制的核心思想是让模型能够根据当前的任务需求和输入数据的特性，自动调整注意力的分配方式。它通常通过学习一组参数来控制注意力机制的行为，使得模型在不同的情况下都能够选择最适合的注意力策略。这种机制提高了模型的灵活性和泛化能力，使其能够更好地应对各种复杂多变的任务场景，例如在图像识别中，可以根据图像的不同内容自动调整对不同区域的关注程度。

相关论文：《Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning》

论文地址：https://arxiv.org/pdf/1612.01887

9. 缩放点积注意力

缩放点积注意力是一种常用的注意力计算方式，它通过计算查询向量和键向量之间的点积来得到注意力得分，然后对这些得分进行缩放处理，最后通过 softmax 函数进行归一化，得到注意力权重。缩放操作是为了防止点积结果过大而导致数值不稳定问题。这种注意力机制简单高效，在许多基于 Transformer 的模型中被广泛应用，为模型提供了强大的表示能力。

相关论文：《Implementing and Optimizing the Scaled Dot-Product Attention on Streaming Dataflow》

论文地址：https://arxiv.org/abs/2404.16629

10. 加性注意力

加性注意力又称为 Bahdanau 注意力，它的计算方式是通过一个前馈神经网络来计算查询向量和键向量之间的相似性得分。具体来说，将查询向量和键向量拼接后输入到神经网络中，经过一系列的非线性变换得到注意力得分。这种方式可以捕捉到查询和键之间的复杂关系，但计算成本相对较高。加性注意力在早期的序列到序列模型中得到了广泛应用，为后续注意力机制的发展奠定了基础。

相关论文：《Neural Machine Translation by Jointly Learning to Align and Translate》

论文地址：https://arxiv.org/abs/1409.0473

11. 全局注意力

全局注意力机制会同时考虑输入数据的所有部分，在计算注意力权重时不会对输入数据进行任何局部限制。这意味着模型在任何时候都能够访问到输入数据的全局信息，从而可以更好地捕捉到数据中的整体特征和结构。全局注意力在处理一些需要全局理解的任务中非常有效，例如在文本分类中，可以更好地把握整个文本的主题和情感倾向。

相关论文：《Effective Approaches to Attention-based Neural Machine Translation》

论文地址：https://arxiv.org/abs/1508.04025

12. 局部注意力

与全局注意力相反，局部注意力机制只关注输入数据的局部区域。它通常会限制注意力的范围，例如只在当前元素的邻域内计算注意力权重。这种方式可以减少计算量，同时也有助于模型更好地捕捉到局部特征和细节信息。在图像处理中，局部注意力可以用于关注图像中的特定区域，例如在目标检测任务中，更好地定位和识别目标物体。

相关论文：《Effective Approaches to Attention-based Neural Machine Translation》

论文地址：https://arxiv.org/abs/1508.04025

13. 稀疏注意力

稀疏注意力机制旨在减少注意力计算中的冗余信息，通过引入稀疏性约束，使得注意力权重分布更加稀疏，即只有少数几个元素的权重较大，而大部分元素的权重接近于零。这样可以提高模型的计算效率和可扩展性，同时也有助于模型更加专注于重要的信息。稀疏注意力在处理大规模数据和复杂任务时具有优势，例如在处理长文本或高分辨率图像时，可以有效地降低计算资源的消耗。

相关论文：《From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification》

论文地址：https://arxiv.org/abs/1602.02068

14. 分层注意力

分层注意力机制将注意力分为多个层次，每个层次关注不同级别的特征或信息。例如，在文本处理中，底层的注意力可能关注单词级别的特征，而高层的注意力则关注句子或段落级别的特征。通过这种分层的方式，模型可以更好地捕捉到数据中的层次结构和语义信息，从而提高对复杂数据的理解能力。分层注意力在自然语言处理中的许多任务中都取得了良好的效果，如文本生成、问答系统等。

相关论文：《Hierarchical Attention Networks for Document Classification》

论文地址：https://www.cs.cmu.edu/~./hovy/papers/16HLT-hierarchical-attention-networks.pdf

15. 时间注意力

时间注意力机制特别关注数据中的时间序列特征，它会根据时间的先后顺序来分配注意力权重。在处理时间序列数据时，例如语音识别、视频分析等任务中，时间注意力可以让模型更好地理解数据中的时间依赖关系和动态变化。通过关注不同时刻的数据点，模型可以捕捉到时间序列中的关键信息，从而提高对时间序列数据的建模和预测能力。

相关论文：《Describing Videos by Exploiting Temporal Structure》

论文地址：https://arxiv.org/abs/1502.08029

总结

注意力机制在深度学习领域的发展已经取得了巨大的成果，从最初的简单注意力模型到如今各种复杂多样的注意力机制，它们为模型提供了更强大的表示能力和更灵活的信息处理方式。不同的注意力机制适用于不同的任务和数据类型，了解它们的特点和应用场景可以帮助我们在实际应用中更好地选择和设计合适的模型架构。

本文转载自​​智驻未来​​，作者：小智