中国国家自然科学基金资助项目：多智能体系统中的动态故障容错技术 精华

智能体故障对多智能体强化学习（MARL）算法的性能构成了显著威胁，主要带来两大挑战。智能体常常难以从由意外故障引发的混乱状态空间中提取关键信息。其次回放缓冲区中记录的故障前后转变不均衡，导致训练样本失衡问题。为了解决这些问题，来自清华大学自动化系和QiYuan Lab（启源实验室）的联合团队通过结合优化的模型架构和定制的训练数据采样策略来增强MARL的故障容错能力。具体而言，研究团队在actor和critic网络中引入了注意力机制，自动检测故障并动态调节对故障智能体的关注。此外还引入了优先级机制，选择当前训练需求中最关键的样本。为了进一步支持这一领域的研究，他们设计并开源了一个高度解耦的容错MARL代码平台，以提高相关问题研究的效率。实验结果表明，该方法在处理各种类型的故障、任意智能体故障和随机时间故障方面表现出色。他们的技术论文《Towards Fault Tolerance in Multi-Agent Reinforcement Learning》12 月 2 日发表于arXiv 平台。

多智能体系统基于MARL算法的性能优于传统控制方法，但对意外故障仍然高度脆弱。为提高此类系统的故障容错能力，他们引入了一种注意力机制，使神经网络能够动态调整对故障相关信息的关注度。通过优先级采样策略，从收集到的经验中选择最符合当前训练需求的关键样本。跨多种故障类型的实验结果表明，该方法显著改善了故障容错能力，验证了其鲁棒性。研究结果表明，该方法有潜力应用于真实世界场景，如多机器人系统和自动驾驶车队。

研究团队提出一种新颖的故障容错方法，以提高多智能体强化学习（MARL）系统在智能体故障情况下的稳定性和可靠性。他们提出了一种结合优化模型架构和定制训练数据采样策略的方法，通过引入注意力机制和优先级经验回放（PER），自动检测故障并动态调整对故障相关信息的关注。该方法不仅能够有效应对不同类型和时刻的智能体故障，还能在通信维护和任务分配中表现出卓越的性能。此外，研究团队还开发并开源了一个新平台（开源地址https://github.com/xbgit/FaultTolerance AACFT），支持研究人员进行多智能体系统容错能力的深入研究和实验。

研究团队成员包括清华大学自动化系的Yuchen Shi和Yi Zhang，QiYuan Lab（启源实验室）的Huaxin Pei和Liang Feng，以及清华大学北京信息科学与技术国家研究中心（BNRist）的Danya Yao。研究团队的工作得到了中国国家自然科学基金（项目编号：62133002）的资助，他们具有强大的学术背景和丰富的研究经验。团队在多智能体系统、强化学习和容错计算等领域具有深厚的技术积累，通过结合多学科的研究成果，提出了创新的故障容错方法，并设计了一个高效的实验平台，推动了该领域的进一步发展。

方法概述

在这篇论文中，研究团队提出了一种新颖的方法，通过结合优化模型架构与定制训练数据采样策略，旨在提升多智能体强化学习（MARL）系统的容错能力。这种方法的核心在于引入注意力机制和优先级经验回放（PER），使得系统能够自动识别智能体故障并动态调整对故障信息的关注度，从而更高效地利用训练数据，提高系统的整体性能。

图1：（a）代理故障前后捕食者-猎物系统的图示，其中不同深浅的蓝色圆圈代表捕食者，绿色圆圈代表猎物。每个代理周围的大透明圆圈代表其通信范围。在最初用作通信桥的代理2发生故障后，代理1和3失去了通信。（b） 故障前后演员和评论家的输入说明。当代理2发生故障时，其相关信息会变得异常并标记为红色，从而导致参与者和评论家网络的原始输入中断。（c） 处理故障的两种自然想法的说明。左侧部分说明了在代理故障前后手动区分训练数据和网络的想法，右侧部分说明了神经网络自动识别输入中无效信息的想法。蓝色圆圈代表类似的故障前过渡，不同的不完整圆圈代表各种故障后过渡，反映了样本的不平衡。

优化模型架构与定制训练数据采样策略相结合的方法

在多智能体系统中，每个智能体在执行任务时，不仅需要处理自身的状态信息，还需要考虑其他智能体以及环境和任务的状态。这种复杂性增加了系统的训练难度，特别是在出现智能体故障的情况下。为了应对这一挑战，研究团队提出了一种优化的模型架构，通过精心设计的输入配置和结合注意力机制，使系统能够自动识别并处理故障智能体的信息。

图2：方法的主要组成部分的说明。

此外，定制训练数据采样策略也在研究团队中扮演了重要角色。通过优先级经验回放（PER），系统能够优先选择那些对当前训练最关键的样本，从而解决训练数据样本不平衡的问题。这种再加权的方法使得系统在处理智能体故障时，能够更有效地进行学习和调整，提高训练效率和系统性能。

注意力机制在actor和critic网络中的应用

注意力机制是近年来在深度学习领域广泛应用的一种技术，因其优越的性能和可解释性，得到了广泛关注。在研究团队中，研究团队将注意力机制引入到actor和critic网络中，用于自动检测并处理智能体故障信息。

在actor网络中，注意力机制被用来动态调整对故障智能体的关注度。例如，当某个智能体发生故障时，系统能够通过调整注意力权重，减少对该故障智能体信息的依赖，转而关注其他有效信息，从而继续高效地执行任务。同样，在critic网络中，注意力机制可以帮助系统识别并过滤掉故障智能体的无效信息，确保网络训练的准确性和有效性。

通过这种方式，注意力机制在actor和critic网络中的应用，使得系统能够灵活应对智能体故障，提高整体容错能力和任务执行效率。

优先级经验回放（PER）的引入与作用

优先级经验回放（PER）是研究团队提出的另一个关键策略。传统的经验回放方法通常随机选择训练样本，而这种方法在处理样本不平衡问题时显得力不从心。为了提高训练效率，研究团队设计了一种再加权的方法，通过引入优先级机制，优先选择那些对当前训练最关键的样本。

具体来说，系统根据每个样本的重要性（如训练损失）来确定其优先级，并按照这个优先级进行样本选择。这种方式不仅解决了训练数据样本不平衡的问题，还提高了系统在处理智能体故障时的学习效率和模型性能。

详细方法

为了提高多智能体强化学习（MARL）系统的容错能力，研究团队提出了一种结合注意力机制和优先级经验回放（PER）的方法。通过在actor和critic网络中引入注意力机制，系统能够自动识别故障智能体并动态调整对故障信息的关注度。同时，优先级经验回放通过再加权策略解决了样本不平衡的问题，提高了训练效率。

图3:FTMAL的总体框架。

Actor和Critic的注意力机制

在多智能体系统中，actor和critic是两个核心组件。Actor负责根据观察到的状态选择行动，而critic负责评估这些行动的价值。在面对智能体故障时，传统方法通常无法有效区分故障信息与有效信息，从而影响系统性能。为此，研究团队引入了注意力机制，使得actor和critic能够动态调整对不同信息源的关注度，自动过滤掉故障智能体的无效信息。

多智能体合作任务中智能体的观察状态

在多智能体合作任务中，每个智能体的观察状态不仅包括自身的信息，还包括其他智能体、环境和任务的状态。一个智能体的观察状态可以分为以下几部分：

1.智能体自身的状态（位置、速度等）

2.其他智能体的状态及其通信状态

3.环境的状态（如障碍物的位置）

4.任务的状态（如目标位置和速度）

这种复杂的观察状态要求系统能够灵活处理不同来源的信息，特别是在出现故障时，能够迅速识别并调整对不同信息的关注度。

注意力模块在actor和critic网络中的设计与实现

在actor网络中，注意力模块用于动态调整对故障智能体的关注度。具体来说，actor网络接收智能体的观察状态，将其转换为嵌入表示，然后通过注意力机制计算出每个信息源的重要性权重，最后基于加权后的嵌入表示生成行动。

在critic网络中，注意力模块帮助系统识别并过滤故障智能体的无效信息。Critic网络接收所有智能体的观察状态和行动，将其转换为嵌入表示，通过注意力机制计算出每个信息源的重要性权重，最后基于加权后的嵌入表示生成Q值。

通过这种设计，注意力机制使得actor和critic网络能够灵活应对智能体故障，提高系统的容错能力和任务执行效率。

优先级经验回放（PER）

为了进一步提高训练效率，研究团队引入了优先级经验回放（PER）策略。传统的经验回放方法通常随机选择训练样本，这在样本不平衡的情况下可能导致训练效率低下。而PER通过为每个样本分配优先级，根据优先级进行样本选择，从而解决了样本不平衡的问题。

再加权方法及其在处理样本不平衡问题中的应用

具体来说，PER策略会根据样本的重要性（如训练损失）为其分配优先级。重要性越高的样本，其被选中的概率越大。在训练过程中，系统会优先选择那些对当前模型训练最关键的样本，从而提高训练效率。

通过这种再加权方法，PER策略能够确保系统在处理智能体故障时，优先学习那些最具挑战性的转变，提高了模型的鲁棒性和性能。

实验结果与分析

在这部分，他们深入探讨了AACFT方法的性能和有效性，通过一系列对比实验、情节可视化、注意力分布分析以及对故障时间的适应性测试，验证了该方法的优越性。

对比实验

首先，通过对比实验，他们评估了AACFT方法与三种基线方法（M3DDPG、MADDPG、MADDPG+MC）的性能。结果显示，AACFT在处理多智能体故障方面表现优异，尤其是在任务完成率、通信维护和任务分配方面，显著优于其他方法。

图4：故障前后场景示意图。（a） 代理2失败时的放弃场景和恢复场景。（b） 代理3失败时的恢复方案。（c） 导航场景。（d）巡逻场景。

具体来说，在无故障的基本捕食者-猎物场景中，所有方法的表现相近。然而在引入故障后，AACFT方法显现出明显的优势。在放弃场景和恢复场景中，AACFT方法的任务完成率显著高于其他基线方法。这表明AACFT方法能够更有效地识别并处理智能体故障，维持系统的正常运作。

图5：在不考虑训练过程中的故障的情况下测试基本MADDPG。（左）无故障。（右）代理2失败。

情节可视化

为了更直观地展示AACFT方法在处理智能体故障时的行为，他们对恢复场景中的智能体行为进行了可视化展示。通过这些可视化图，他们可以清晰地看到，在智能体2和智能体3发生故障时，系统是如何调整并继续执行任务的。

图 6：恢复场景中的一个事件的说明，其中代理2和代理3分别失败。在图中，一系列透明度逐渐降低的圆圈表示代理从上一个时间步长到当前时间步长的运动轨迹。

例如，当智能体2故障时，智能体1和智能体3能够迅速重新分配任务，保持追踪猎物的动作。当智能体3故障时，智能体2首先执行恢复任务，完成后继续与智能体1共同追踪猎物。这些可视化结果验证了AACFT方法在智能体故障情况下的鲁棒性和灵活性。

注意力分布分析

注意力机制在处理智能体故障中发挥了关键作用。通过注意力分布分析，他们观察到，在正常运行时，critic中的注意力分布相对均衡，而actor对猎物的注意力较高。当智能体发生故障时，系统能够动态调整注意力权重，减少对故障智能体的关注，转而关注其他有效信息。

这种调整不仅保证了系统在故障情况下的正常运行，还提高了任务执行的效率。注意力分布的变化验证了注意力机制在提高系统容错能力方面的重要性。

加权优先经验回放的作用

为了进一步提高训练效率，AACFT方法引入了加权优先经验回放（PER）。实验结果显示，使用PER的AACFT方法在训练效率和模型性能方面显著优于未使用PER的方法。

通过PER策略，系统能够优先选择那些对当前训练最关键的样本，从而有效解决样本不平衡问题，提高了训练效率和模型性能。特别是在巡逻场景中，使用PER的AACFT方法在处理复杂任务时表现更加出色。

图7：恢复场景中故障前后评论家和演员的注意力分配。3×3或2×3矩阵是评论家的注意力矩阵，3×6或2×6矩阵是演员的注意力矩阵。评论家中的每一行表示一个代理对其他代理的注意力分配，而行动者中的每行表示代理对其观察中不同信息的注意力分配。故障发生后，相应的代理行将被删除。

对故障时间的适应性

最后，他们评估了AACFT模型在不同故障时间点的表现。结果显示，AACFT方法在不同故障时间点都表现出较高的任务完成率，并且随着故障时间的推迟，任务完成率有所提高。这与容错系统的预期一致，进一步验证了AACFT方法在不同故障条件下的适应性和鲁棒性。

研究团队通过一系列实验和分析，验证了AACFT方法在多智能体系统故障容错能力方面的优越性能。通过引入注意力机制和优先级经验回放，系统能够更高效地识别和处理故障信息，保持系统的稳定性和任务执行的高效性。

平台开发与开源

论文除了提出新的算法方法外，研究团队还开发并开源了一个用于研究多智能体强化学习（MARL）故障容错能力的新平台（开源地址:https://github.com/xbgit/FaultTolerance AACFT）。该平台不仅集成了最新的算法，还提供了丰富的工具和接口，使研究人员能够更高效地进行实验和验证。

新平台的设计与功能

新平台的设计核心围绕着简化多智能体系统中故障容错算法的研究与开发。平台由多个模块组成，包括运行模块、算法控制器、环境控制器、故障控制器和课程控制器等。每个模块负责不同的功能，确保系统的高效运行和易用性。例如，运行模块负责处理多智能体与环境的交互，收集回放缓冲区中的转变数据；算法控制器负责初始化、更新和执行智能体策略，并处理与故障相关的任务。

平台还提供了一个配置模块和一个日志模块。配置模块为算法、环境、故障以及训练或测试设置提供相关参数，支持分离的配置文件，便于进行对比实验。日志模块则记录算法、环境和故障控制器的数据，支持WandB集成和本地打印、保存训练日志的选项。

故障控制器的集中管理

为了更高效地管理和处理智能体故障，平台设计了一个专用的故障控制器。故障控制器集中管理故障的注入、故障智能体观察和行为的修改、故障的重置以及故障相关数据的收集等功能。这一设计确保了故障修改不干扰主代码模块，提高了训练和测试的效率。

通过将故障管理集中在一个专用的控制器中，平台不仅简化了故障处理的流程，还提高了系统的灵活性和可扩展性。研究人员可以在实验过程中轻松注入和管理各种类型的故障，观察系统在不同故障条件下的表现，从而深入研究多智能体系统的容错能力。

用户自定义故障类型和参数的支持

平台的另一个重要特点是支持用户自定义故障类型和参数。研究人员可以根据实验需求，灵活地设置故障的时间、目标和概率。故障类型包括限制故障智能体的动作或向其观察中添加噪声等。通过这种方式，研究人员能够在不同的实验场景中，注入相同或多种类型的故障，从而研究不同算法在处理各种故障条件下的性能。

这种高度的可定制性使得平台在应对复杂实验需求时，展现出极大的灵活性和适用性。无论是对算法进行优化，还是验证新方法的有效性，研究人员都能够通过这一平台，获得更为准确和全面的实验数据。

总结与展望

研究团队通过引入注意力机制和优先级经验回放（PER）策略，提出了一种新颖的多智能体强化学习（MARL）方法，旨在提升系统的故障容错能力。通过一系列实验验证，该方法在处理各种类型和时刻的智能体故障方面表现优异，显著提高了系统在任务完成率、通信维护和任务分配等方面的性能。

实验结果显示，AACFT方法在应对智能体故障时表现出色。通过与三种基线方法（M3DDPG、MADDPG、MADDPG+MC）的对比，AACFT方法在多个实验场景中都显示出明显的优势。具体而言，无论是在任务完成率还是在系统的稳定性和鲁棒性方面，AACFT方法都优于其他基线方法。这些实验结果不仅验证了注意力机制在提升系统容错能力中的重要作用，也证明了优先级经验回放在解决训练数据样本不平衡问题中的有效性。

通过对智能体行为的可视化分析，研究团队进一步展示了AACFT方法在处理智能体故障时的具体操作过程。结果表明，注意力机制能够有效引导actor和critic网络动态调整对故障信息的关注度，确保系统在故障情况下依然能够高效运行。

尽管AACFT方法在实验中表现出色，仍有一些领域值得进一步探索和改进。首先，研究团队计划在平台中设计更多类型的故障，以检验方法在更广泛的故障条件下的适应性和泛化能力。通过引入不同类型的故障，可以进一步验证AACFT方法的鲁棒性，并探索其在更复杂环境中的表现。

其次，研究团队还计划优化和扩展现有平台，增加更多的功能模块和工具，以支持更复杂的实验设置和数据分析。例如，可以引入更多的环境和任务类型，以及更精细的故障模拟和监测工具，从而提供更全面的实验数据支持。

此外，研究团队将继续探索其他先进的深度学习技术和算法，以进一步提升系统的性能和效率。例如可以考虑结合强化学习中的其他前沿技术，如对抗训练、自适应学习率等，以提升系统的训练效果和性能表现。

总之，研究团队为多智能体系统的故障容错能力研究提供了新的思路和方法。通过结合注意力机制和优先级经验回放策略，AACFT方法显著提升了系统在智能体故障情况下的表现。他们期待研究团队继续优化和扩展现有方法和平台，探索更多可能的应用场景，为多智能体系统在实际中的应用提供更坚实的技术基础。（END）

参考资料：

1.https://arxiv.org/abs/2412.00534

2. https://github.com/xbgit/FaultTolerance AACFT

本文转载自​​大噬元兽​​，作者： FlerkenS ​​​​