未来的智能战场——多智能体系统的防御与生存之道

多智能体系统（Multi-Agent Systems, MAS）近年来在各类任务中展现出卓越的能力，尤其是在代码生成、数学问题解决、翻译和文本评估等领域。通过多个专家智能体的协作，这些系统能够将复杂任务分解为更小的子任务，由各个智能体分别处理，从而提高整体效率和准确性。然而随着多智能体系统的广泛应用，其安全性问题也日益凸显。特别是当系统中存在恶意智能体时，这些智能体可能会生成错误或不相关的结果，进而破坏整个系统的协作效果。

因此,我们需要研究多智能体系统在存在恶意智能体时的弹性，即系统在面对恶意智能体时维持功能和性能的能力,需要回答以下两个关键问题：

1. 不同结构的多智能体系统在恶意智能体存在下的弹性如何？
2. 如何提高系统弹性以防御恶意智能体？

为了解答这些问题，来自中国香港中文大学、清华大学、北京大学和卡内基梅隆大学的联合研究团队设计了AUTOTRANSFORM 和 AUTOINJECT两种方法，用于将任何智能体转变为恶意智能体或直接在消息中引入特定错误。通过这两种方法，研究团队在代码生成、数学问题、翻译和文本评估四个任务上进行了综合实验。实验结果表明，“层次结构”多智能体系统（如 A→(B↔C)）表现出最强的弹性，性能下降最小（23.6%），相比之下，其他两种结构的性能下降分别为46.4%和49.8%。

此外研究还发现，通过引入额外的智能体来审查和纠正消息，或为每个智能体增加挑战其他智能体输出的机制，可以显著提高系统的弹性。这些防御方法在实验中表现出色，进一步验证了其有效性。

研究团队为设计更具弹性的多智能体系统提供了重要的见解和方法，特别是在面对恶意智能体时。研究结果不仅揭示了不同系统结构在恶意智能体存在下的表现差异，还提出了有效的防御策略，为未来多智能体系统的安全性研究提供了宝贵的参考。

本研究由来自不同领域的专家合作完成，团队成员包括中国香港中文大学的Jen-tse Huang, Jiaxu Zhou, Wenxuan Wang, Michael R. Lyu、清华大学的Tailin Jin、北京大学的Zixi Chen、卡内基梅隆大学的Xuhui Zhou, Maarten Sap 和中国香港中文大学（深圳）的Youliang Yuan，这些研究人员专注于多智能体系统的研究，特别是其在面对恶意智能体时的弹性,在代码生成和数学问题解决等任务中的应用,在文本评估和翻译任务中的应用,在多智能体系统的协作和安全问题等，这个多学科、多机构的团队结合了来自不同领域的专家，共同研究多智能体系统在面对恶意智能体时的弹性，为设计更具弹性的多智能体系统提供重要的见解和方法。

预备知识

多智能体系统（MAS）在管理科学中可以根据其结构和通信方式分为三种主要类型：线性结构、扁平结构和层次结构。每种结构都有其独特的定义和特点，适用于不同的应用场景和任务需求。

线性结构的多智能体系统中，智能体之间的通信是单向的，类似于流水线作业。每个智能体只与其前一个和后一个智能体进行通信，形成一个链式的工作流程。例如，A→B→C 表示智能体 A 将任务传递给智能体 B，B 完成其部分后再传递给智能体 C。线性结构的优点在于其简单性和明确的任务分配，但缺点是缺乏灵活性和冗余，一旦某个环节出现问题，整个系统的性能可能会受到严重影响。

扁平结构的多智能体系统中，所有智能体之间进行双向通信，形成一个平等的协作网络。例如，A↔B↔C 表示智能体 A、B 和 C 之间可以相互通信和协作。扁平结构的优点在于其高效的通信和灵活的任务分配，能够快速响应变化和调整策略。然而，扁平结构也存在通信开销较大和协调复杂度高的问题，特别是在智能体数量较多时。

层次结构的多智能体系统结合了线性结构和扁平结构的特点，既有单向通信也有双向通信。例如，A→(B↔C) 表示智能体 A 将任务分配给 B 和 C，B 和 C 之间可以相互通信和协作。层次结构的优点在于其灵活性和冗余性，能够在不同层级之间进行有效的任务分配和协调，提高系统的鲁棒性和适应性。层次结构在实际应用中较为常见，特别是在需要复杂协作和多层次决策的场景中。

图1：不同系统在各种任务上对恶意智能体的弹性如何？

系统弹性（Resilience）是指系统在面对内部错误或外部攻击时，维持其功能和性能的能力。在多智能体系统中，弹性尤为重要，因为系统的协作和任务完成依赖于多个智能体的共同努力。一旦某个智能体出现故障或被恶意攻击，系统的整体性能可能会受到影响。因此研究和提高多智能体系统的弹性具有重要意义。

多智能体系统的弹性体现在以下几个方面：

• 错误恢复能力：系统能够识别并纠正智能体生成的错误，确保任务的正确完成。
• 协作稳定性：系统能够在智能体之间维持稳定的协作关系，防止恶意智能体破坏协作机制。
• 任务连续性：系统能够在面对智能体故障或攻击时，继续执行任务，减少中断和性能下降。

提高多智能体系统的弹性可以通过多种方法实现。

在系统中引入冗余智能体或冗余通信路径，确保在某个智能体失效时，其他智能体能够接替其任务。设计智能体具备错误检测和纠错能力，能够识别并修正自身或其他智能体的错误。设计灵活的协作机制，允许智能体在任务执行过程中进行动态调整和重新分配，提高系统的适应性和鲁棒性。

系统弹性是多智能体系统设计中的关键因素，直接影响系统的可靠性和稳定性。通过研究和提高多智能体系统的弹性，可以有效应对恶意智能体的威胁，确保系统在复杂和动态环境中的正常运行。

方法论

在研究多智能体系统的弹性时，关键在于如何有效地引入错误以模拟恶意智能体的行为。论文提出了两种主要的方法：AUTOTRANSFORM 和 AUTOINJECT。

AUTOTRANSFORM：将智能体转变为恶意智能体

AUTOTRANSFORM 是一种基于大规模语言模型（LLM）的方法，旨在将任何智能体的配置文件转变为恶意智能体，同时保留其原有功能。其设计过程包括以下三个关键步骤：

1. 任务分析：首先，AUTOTRANSFORM 分析输入智能体的配置文件，提取其分配的任务。这一步有助于识别生成错误输出的潜在方法。
2. 错误注入方法列举：基于任务分析，AUTOTRANSFORM 列出所有可能的错误注入方法，强调隐蔽性以避免被其他智能体检测到。
3. 配置文件重写：最后，AUTOTRANSFORM 使用这些错误注入方法重写智能体的配置文件，确保智能体的原有功能保持不变。

通过这种方法，研究团队能够将任何智能体转变为恶意智能体，生成隐蔽的错误，从而模拟恶意智能体的行为。

图2：错误引入过程概述。（a） 任务信息。（b） 无恶意代理的多智能体协作系统。（c） AUTOTRANSFORM修改智能体的配置文件，将其转化为恶意。（d） AUTOINJECT拦截智能体之间的消息并在消息中添加错误。

AUTOINJECT：直接在消息中引入特定错误

尽管 AUTOTRANSFORM 能够方便地生成恶意智能体，但难以确保这些智能体引入特定数量和类型的错误。为了解决这一问题，研究团队提出了 AUTOINJECT 方法，直接在智能体之间传递的消息中引入特定错误。AUTOINJECT 的设计过程包括以下步骤：

1. 任务分配和错误注入：首先分配任务、智能体、错误率（Pm 和 Pe）和错误类型。AUTOINJECT 然后选择智能体的输出消息，并以概率 Pm 选择消息中的某些部分，在这些部分中以概率 Pe 注入错误。
2. 错误生成：使用 LLM 自动生成错误行或句子，替换原始消息中的对应部分。

通过这种方法，研究团队能够精确控制错误消息的比例、单条消息中的错误数量以及错误类型，从而更好地分析这些因素对系统弹性的影响。

错误率的定义及其对系统弹性的影响

错误率是指恶意智能体生成的错误消息的比例和单条消息中的错误数量。在论文中，错误率分为两个方面。

错误消息比例（Pm）：指恶意智能体生成的错误消息在其所有消息中的比例。较高的错误消息比例意味着更多的消息包含错误，从而增加系统识别和纠正错误的难度。

单条消息中的错误数量（Pe）：指单条消息中包含的错误行或句子的比例。较高的错误数量意味着每条错误消息中包含更多的错误，从而增加系统纠正错误的复杂性。

研究表明，错误消息比例对系统弹性的影响较大，特别是在错误消息比例较高时，系统性能下降显著。而单条消息中的错误数量对系统弹性的影响相对较小，但仍需考虑其对系统纠错能力的挑战。

图3：六个多智能体系统在四个选定的下游任务上的性能下降。

错误类型（语法错误和语义错误）的定义及其对系统弹性的影响

错误类型主要分为两类：语法错误和语义错误。

语法错误：指违反逻辑或事实正确性的错误，例如代码中的语法错误或数学公式中的计算错误。语法错误通常较容易被识别和纠正，因为它们明显偏离了训练数据的分布。

语义错误：指在逻辑上正确但在语义上不相关或不准确的错误，例如代码中逻辑正确但不符合预期功能的错误。语义错误较难被识别和纠正，因为它们在分布上与正确代码相似，需要更深层次的任务理解。

研究发现，语义错误对系统弹性的影响大于语法错误。这是因为语义错误更难被识别和纠正，特别是在需要深层次理解任务的情况下。例如在代码生成任务中，语法错误较容易被检测和修正，而语义错误则可能导致更严重的功能性问题。

通过引入这两种错误类型，研究团队能够全面评估多智能体系统在面对不同类型错误时的弹性，为设计更具弹性的系统提供重要的参考。

实验

1. 实验设置

下游任务的选择及其评估标准

为了全面评估多智能体系统在不同任务中的表现，研究团队选择了四个常见的下游任务。

• 代码生成：使用 HumanEval 数据集（Chen et al., 2021），该数据集包含 164 个手写编程问题，用于评估 LLMs 生成正确和功能性 Python 代码的能力。评估标准为准确率（Pass@1）。
• 数学问题解决：使用 CIAR 数据集（Liang et al., 2023b），该数据集包含 50 个带有隐藏陷阱的问题，用于评估 LLMs 的反直觉算术推理能力，要求多步推理。评估标准为准确率。
• 翻译：使用 CommonMT 数据集（He et al., 2020），该数据集包含成对的句子，用于测试模型在模糊上下文中的常识推理能力。我们随机抽取了 100 个最具挑战性的词汇类型句子进行评估，使用 BLEURT-20（Sellam et al., 2020; Pu et al., 2021）作为评估标准。
• 文本评估：使用 FairEval 数据集（Wang et al., 2023a），该数据集包含 80 个由人类注释的“赢/平/输”结果，用于比较 ChatGPT 和 Vicuna-13B 的响应，旨在确定模型的偏好是否与人类判断一致。评估标准为准确率。

多智能体系统架构的选择及其特点

研究团队选择了三种主要的多智能体系统架构：线性、扁平和层次结构。每种架构都有其独特的特点和应用场景。

线性结构

MetaGPT（Hong et al., 2023）：使用标准操作程序（SOPs）在软件公司环境中创建高效的工作流程，利用五个智能体进行代码生成。

Self-collaboration（Dong et al., 2023）：设计了三个角色，即分析师、编码员和测试员，使用 2-5 个智能体在代码生成任务中实现自我协作。

扁平结构

Camel（Li et al., 2024a）：提出了一个框架，其中“用户”智能体迭代地优化“助手”智能体的输出，适用于各种任务。

SPP（Wang et al., 2023b）：使用单人表现提示（Solo-Performance-Prompting）将单个模型分为三个角色进行编码任务。

层次结构

MAD（Liang et al., 2023b）：引入了一个多智能体辩论框架，包含两个辩论者和一个裁判，以促进 LLMs 的发散思维，适用于各种任务。

AgentVerse（Chen et al., 2023b）：采用动态招聘过程，根据需要选择智能体进行多轮协作，使用四个智能体完成所选任务。

2. 研究问题1（RQ1）：系统架构的影响

不同架构在面对恶意智能体时的表现

研究结果表明，层次结构的多智能体系统在面对恶意智能体时表现出最高的弹性。

层次结构：表现出最小的准确率下降，AUTOTRANSFORM 和 AUTOINJECT 分别为 23.6% 和 22.6%。这种结构的优势在于存在一个高层智能体（如 MAD 中的评估者），该智能体总是能够接收到多个智能体执行相同子任务的不同版本的答案，从而增加了从单个智能体错误中恢复的可能性。

扁平结构：在 AUTOTRANSFORM 下表现相似，但在 AUTOINJECT 下韧性显著降低。这是由于缺乏高层领导者来监督和选择最佳结果的智能体。

线性结构：表现出最低的韧性，缺乏领导和智能体间的沟通，导致一条流水线式的工作流程。

图4：在每项任务中，MAD相对于AUTOINJECT的精度都有所提高。

层次结构的优势及其原因分析

层次结构的优势主要体现在层次结构中存在多个智能体执行相同的子任务，从而增加了系统的冗余性和错误恢复能力。高层智能体能够监督和评估多个智能体的输出，选择最佳结果，从而提高系统的整体性能。层次结构允许智能体在不同层级之间进行动态调整和重新分配，提高系统的适应性和鲁棒性。

3. 研究问题2（RQ2）：下游任务的影响

不同任务在面对错误时的韧性差异

研究发现，不同下游任务在面对错误时的韧性存在显著差异。具体表现为代码生成和数学问题：这些任务需要较高的严格性和形式化，对智能体错误更为敏感，韧性较低。翻译和文本评估：这些任务的主观性较强，对错误的敏感性较低，韧性较高。

任务的客观性和主观性对系统弹性有重要影响

客观任务：如代码生成和数学问题，要求较高的准确性和一致性，任何错误都可能导致显著的性能下降。

主观任务：如翻译和文本评估，允许一定程度的变异和解释，错误的影响相对较小。

4. 研究问题3（RQ3）：错误率的影响

研究表明，错误消息比例（Pm）和单条消息中的错误数量（Pe）对系统弹性的影响表现为错误消息比例对系统弹性的影响较大，特别是在错误消息比例较高时，系统性能下降显著。错误消息比例的性能下降是非线性的，最显著的下降发生在 0 到 0.2 之间。单条消息中的错误数量对系统弹性的影响相对较小，但仍需考虑其对系统纠错能力的挑战。随着 Pe 的增加，性能下降几乎是线性的。

图5：六个多智能体系统在选定下游任务上的性能下降。

5. 研究问题4（RQ4）：错误类型的影响

研究发现，语义错误对系统弹性的影响大于语法错误。这是因为语法错误较容易被识别和纠正，因为它们明显偏离了训练数据的分布。语义错误较难被识别和纠正，因为它们在分布上与正确代码相似，需要更深层次的任务理解。

例如，在代码生成任务中，语法错误较容易被检测和修正，而语义错误则可能导致更严重的功能性问题。

通过这些实验，研究团队全面评估了多智能体系统在面对不同类型错误时的弹性，为设计更具弹性的系统提供了重要的参考。

其他因素

恶意角色的影响

在多智能体系统中，不同类型的智能体在系统中的角色和职责各不相同。为了全面了解恶意智能体对系统弹性的影响，研究团队不仅关注直接负责工作的智能体，还研究了高层任务分配智能体的影响。

高层任务分配智能体与直接负责工作的智能体的对比

高层任务分配智能体（如 Camel 系统中的 User 和 Assistant，MetaGPT 系统中的 Product Manager 和 Engineer）在系统中扮演着关键角色，负责任务的分配和协调。相比之下，直接负责工作的智能体主要执行具体任务，如代码生成或问题解决。

研究结果表明，污染高层任务分配智能体对系统性能的影响更大。这是因为高层任务分配智能体控制着系统的整体任务分配和协调，一旦这些智能体被恶意转变，其生成的错误指令可能会影响多个下游智能体的工作。例如，在 Camel 系统中，Assistant 智能体难以识别 User 智能体生成的“有毒”指令，因为其职责仅限于执行指令。

具体来说，研究团队应用 AUTOTRANSFORM 方法将高层任务分配智能体转变为恶意智能体，结果显示系统的性能显著下降。这一发现与直觉一致，即控制系统整体任务分配的智能体对系统的正常运行至关重要。

轮次数量的影响

另一个影响多智能体系统弹性的因素是智能体参与的轮次数量。研究团队假设，增加智能体参与的轮次（即更多轮次）可能会增强系统的弹性，因为更多的轮次意味着更多的机会来识别和纠正错误。

智能体参与轮次对系统弹性的影响

为了消除额外智能体的影响，研究团队专注于只有两个智能体轮流发言的 Camel 系统。通过计算生成正确和错误代码的平均轮次数，研究团队发现以下结果：

1. 在没有注入错误的情况下，生成通过 HumanEval 的代码的平均轮次为 9.31，而生成未通过代码的平均轮次为 9.79。
2. 在注入错误后，这些平均值分别变为 8.89 和 11.57。

这些结果表明，错误注入导致系统在完成较容易的任务时对话轮次减少，而在较难的任务上花费更多时间但无明显改进。这与直觉相悖，即轮次数量可能与系统弹性相关，但实际结果显示，轮次数量对系统弹性的影响有限。

图6:HumanEval的两个测试用例的案例研究。（a） 故意注入的错误有助于提高性能。（b） LLM过度依赖自然语言而不是代码。

研究团队进一步分析了这一现象，发现当前 LLM 在上下文变长时效果减弱，特别是在指令存在冲突的情况下。对于恶意智能体来说，它们逐渐失去生成错误的任务轨迹，优先考虑其他智能体的新指令来纠正消息中的错误。此外，AUTOINJECT 方法持续引入错误，而 AUTOTRANSFORM 方法并不总是确保生成错误，这也解释了为什么 AUTOINJECT 方法对系统性能的影响更大。

图7:§4.7中研究的两个因素。（a） 应用AUTOTRANSFORM对MetaGPT和Camel中不同角色的影响。（b） 平均轮次与代码正确性的相关性。

综上所述，恶意角色和轮次数量是影响多智能体系统弹性的两个重要因素。高层任务分配智能体的恶意行为对系统的影响更大，而轮次数量对系统弹性的影响相对有限。这些发现为设计更具弹性的多智能体系统提供了重要的参考。

提高系统弹性的方法

在多智能体系统中，面对恶意智能体的威胁，提高系统的弹性至关重要。研究团队提出了两种主要的防御方法：Inspector 和 Challenger。这些方法旨在通过增加系统的错误检测和纠正能力，增强多智能体系统在恶意智能体存在下的韧性。

1. 防御方法

Inspector：拦截并检查所有消息中的错误并进行纠正

Inspector 方法的核心思想是引入一个额外的智能体，专门负责拦截并检查所有智能体之间传递的消息，识别其中的错误并进行纠正。具体实现步骤如下：

• 消息拦截：Inspector 智能体拦截所有智能体之间传递的消息，确保每条消息都经过检查。
• 错误检测：使用大规模语言模型（LLM）对消息进行分析，识别其中的语法错误和语义错误。
• 错误纠正：一旦检测到错误，Inspector 智能体会生成正确的消息替换错误消息，并将其传递给目标智能体。

这种方法类似于 Zhang et al. (2024) 提出的“警察”智能体，旨在通过实时监控和纠正消息中的错误，提高系统的整体性能和稳定性。

Challenger：赋予智能体挑战其他智能体结果的能力

Challenger 方法的核心思想是增强每个智能体的功能，使其不仅能够执行分配的任务，还能够挑战其他智能体的输出结果。

在每个智能体的配置文件中添加挑战功能，使其能够对接收到的消息进行评估，并在发现错误时提出挑战。智能体在接收到其他智能体的输出结果后，会对其进行分析，如果发现潜在错误，会生成挑战消息，要求对方智能体重新生成或修正结果。被挑战的智能体在接收到挑战消息后，会重新生成或修正其输出结果，并将其传递回挑战智能体进行验证。

这种方法通过赋予智能体更多的自主性和纠错能力，提高了系统在面对恶意智能体时的弹性。

2. 实验结果

研究团队将这两种防御方法应用于不同的多智能体系统架构（线性和扁平），并评估其在代码生成任务中的效果。

线性架构（Self-collab）

无防御方法：在没有防御方法的情况下，系统在 AUTOINJECT 方法下的性能显著下降。

Inspector 方法：引入 Inspector 方法后，系统性能有所提升，但未能完全恢复到原始水平。

Challenger 方法：引入 Challenger 方法后，系统性能也有所提升，但与 Inspector 方法相比，提升幅度相似。

扁平架构（Camel）

无防御方法：在没有防御方法的情况下，系统在 AUTOINJECT 方法下的性能显著下降。

Inspector 方法：引入 Inspector 方法后，系统性能有所提升，但未能完全恢复到原始水平。

Challenger 方法：引入 Challenger 方法后，系统性能也有所提升，但与 Inspector 方法相比，提升幅度相似。

总体而言，这两种防御方法都能够在一定程度上提高系统在恶意智能体存在下的弹性，但未能完全恢复到原始水平。研究团队建议在实际应用中同时尝试这两种方法，以获得最佳效果。

图8：防御方法“检查器”和“挑战者”在代码生成任务中的性能。

通过这些防御方法的实验结果，研究团队验证了其有效性，并为设计更具弹性的多智能体系统提供了重要的参考。这些方法不仅提高了系统的错误检测和纠正能力，还增强了智能体之间的协作和互相监督能力，从而提高了系统的整体韧性。

相关工作

多智能体系统的研究现状

多智能体系统（MAS）在近年来得到了广泛的研究和应用。随着大规模语言模型（LLMs）的发展，MAS 的能力得到了显著提升，能够在各种复杂任务中展现出卓越的性能。以下是一些主要的多智能体系统框架和方法的比较。

ChatEval（Chan et al., 2023）

特点：ChatEval 是一个多智能体辩论系统，用于评估 LLM 生成的文本，提供类似人类的评估过程。

应用：主要用于文本生成和评估任务，通过智能体之间的辩论来提高评估的准确性和客观性。

ChatDev（Qian et al., 2023）

特点：ChatDev 使用线性结构的多个角色来解决代码生成任务。

应用：通过多个智能体的协作，优化代码生成过程，提高代码的质量和功能性。

AutoGen（Wu et al., 2023）

特点：AutoGen 提供了一个通用框架，用于构建具有多种应用的多智能体系统。

应用：适用于各种任务，包括开放式问答和创意写作，通过智能体的动态生成和协作来完成任务。

AutoAgents（Chen et al., 2023a）

特点：AutoAgents 支持智能体配置文件的动态生成和协作，评估了开放式问答和创意写作任务。

应用：通过智能体之间的协作和动态调整，提高任务完成的效率和质量。

Agents（Zhou et al., 2023a）

特点：Agents 支持规划、记忆、工具使用、多智能体通信和细粒度符号控制，用于多智能体或人机协作。

应用：广泛应用于需要复杂协作和多层次决策的任务，如自动驾驶和智能制造。

模拟日常生活和对话（Park et al., 2023; Zhou et al., 2023b）

特点：这些研究模拟了多智能体系统在日常生活和对话中的应用，探索智能体之间的互动和协作。

应用：主要用于社交机器人和虚拟助手，通过模拟真实场景来提高智能体的交互能力。

多智能体竞争（Huang et al., 2024; Liu et al., 2024b; Liang et al., 2023a）

特点：这些研究探索了多智能体系统在竞争环境中的表现，研究智能体之间的竞争和合作策略。

应用：主要用于游戏和模拟环境，通过竞争和合作来提高智能体的策略和决策能力。

这些框架和方法展示了多智能体系统在不同任务和应用场景中的广泛应用和研究进展。尽管它们在系统设计和应用上有所不同，但都强调了智能体之间的协作和动态调整，以提高任务完成的效率和质量。

多智能体系统中的安全问题

随着多智能体系统的广泛应用，其安全性问题也日益受到关注。特别是当系统中存在恶意智能体时，这些智能体可能会生成错误或误导性的结果，破坏系统的协作效果。以下是一些现有研究中的攻击和防御机制：

PsySafe（Zhang et al., 2024）

特点：PsySafe 是一个整合攻击、评估和防御机制的框架，使用负面人格的心理操纵。

应用：通过模拟恶意智能体的行为，评估系统的安全性，并提出相应的防御策略。

EG（Evil Geniuses）（Tian et al., 2023）

特点：EG 是一种自动生成与智能体原始角色相关提示的攻击方法，类似于 AUTOTRANSFORM。

应用：通过生成恶意提示，破坏智能体的正常工作，评估系统在面对恶意智能体时的表现。

Amayuelas et al.（2024）

特点：研究了多智能体辩论中的对手如何破坏协作，发现对手的说服技巧对成功攻击至关重要。

应用：通过模拟对手的攻击行为，评估系统在面对恶意智能体时的协作能力。

Ju et al.（2024）

特点：提出了一种两阶段攻击策略，在模拟多智能体聊天环境中传播反事实和有毒知识，有效破坏协作。

应用：通过生成和传播有毒知识，评估系统在面对恶意智能体时的表现，并提出相应的防御策略。

这些研究展示了多智能体系统在安全性方面的挑战和应对策略。通过模拟恶意智能体的行为，研究人员能够评估系统的安全性，并提出相应的防御机制，以提高系统在面对恶意智能体时的弹性。

多智能体系统的研究现状和安全问题展示了这一领域的广泛应用和挑战。通过不断探索和优化系统设计和防御策略，研究人员能够提高多智能体系统的弹性，确保其在复杂和动态环境中的正常运行。

结论

研究总结

本研究深入探讨了多智能体系统在存在恶意智能体时的弹性，重点分析了不同架构的多智能体系统在面对恶意智能体时的表现，并提出了提高系统弹性的有效方法。以下是主要研究发现：

不同架构的多智能体系统在面对恶意智能体时的表现

层次结构：表现出最强的弹性，性能下降最小。层次结构中存在高层智能体（如评估者），能够监督和评估多个智能体的输出，从而增加了从单个智能体错误中恢复的可能性。

扁平结构：在 AUTOTRANSFORM 下表现相似，但在 AUTOINJECT 下韧性显著降低。缺乏高层领导者来监督和选择最佳结果的智能体是其主要劣势。

线性结构：表现出最低的韧性，缺乏领导和智能体间的沟通，导致一条流水线式的工作流程。一旦某个环节出现问题，整个系统的性能可能会受到严重影响。

提高系统弹性的有效方法

Inspector 方法：引入一个额外的智能体，专门负责拦截并检查所有智能体之间传递的消息，识别其中的错误并进行纠正。实验结果表明，Inspector 方法能够显著提高系统在恶意智能体存在下的弹性。

Challenger 方法：增强每个智能体的功能，使其不仅能够执行分配的任务，还能够挑战其他智能体的输出结果。通过赋予智能体更多的自主性和纠错能力，Challenger 方法提高了系统在面对恶意智能体时的弹性。

研究局限性

尽管本研究取得了一些重要发现，但仍存在一些局限性。

模型和任务选择的局限性

由于预算限制，所有实验仅使用 gpt-3.5-turbo-0125 进行。尽管研究团队认为结果不会与其他模型有显著差异，但使用更强大的模型可能会带来改进，这将在未来的研究中进一步探索。

选择的多智能体系统和下游任务不能全面代表所有情况。研究团队通过选择三种经典的多智能体系统结构和四个常用数据集来尽量覆盖广泛的应用场景，但仍有一些未涉及的领域。

未识别的潜在变量

在分析系统弹性时，可能存在一些未识别的潜在变量影响结果。研究团队主要考察了系统架构、下游任务、错误率、错误类型、智能体角色和智能体间的通信轮次，但仍可能有其他因素未被考虑。

更广泛的影响

本研究提出的两种错误引入方法（AUTOTRANSFORM 和 AUTOINJECT）在模拟恶意智能体行为方面具有重要意义，但也可能带来一些潜在的负面影响。

错误引入方法的潜在负面影响

这些方法可能会被恶意使用，污染良性智能体，导致负面社会影响。为了减轻这一风险，研究团队提出了有效的防御机制，如 Inspector 和 Challenger 方法，以提高系统的弹性。

研究团队强调，这些方法的提出是为了研究和改进基于 LLM 的多智能体系统行为，强烈反对任何恶意使用这些方法的行为。

防御措施：

通过引入额外的智能体进行实时监控和纠错，或增强智能体的自主性和纠错能力，可以有效提高系统在恶意智能体存在下的弹性。

这些防御措施不仅提高了系统的错误检测和纠正能力，还增强了智能体之间的协作和互相监督能力，从而提高了系统的整体韧性。

本研究为多智能体系统在面对恶意智能体时的弹性提供了重要的见解和方法。通过深入分析不同架构的多智能体系统在恶意智能体存在下的表现，并提出有效的防御策略，研究团队为未来多智能体系统的设计和优化提供了宝贵的参考。希望这些研究成果能够推动多智能体系统在复杂和动态环境中的应用，确保其在各种挑战下的稳定性和可靠性。（END）

参考资料：https://arxiv.org/pdf/2408.00989

本文转载自 ​​大噬元兽​​，作者： FlerkenS