艾伦图灵研究所最新成果：多智能体博弈中的可纠正性和一致性 精华

多智能体系统研发正在快速发展，过去一年我们曾分析 41 篇研究多智能体的论文，说明自主代理系统的研究正逐渐成为一个炙手可热的话题。为了使这些系统能够与人类用户和其他系统有效互动，确保其行为的可纠正性（corrigibility）和一致性（alignment）是至关重要的。1 月 11 日，arXiv 发表的艾伦图灵研究所的最新成果《On Corrigibility and Alignment in Multi Agent Games》， 这篇论文聚焦于多代理环境中的自主代理的可纠正性问题，并提出了一种基于博弈论的框架，以分析在多代理设置中引入不确定性如何影响代理的可纠正性。

随着人工智能技术的广泛应用，特别是在自动驾驶、智能家居和医疗保健等领域，确保AI系统能够在需要时接受人类的监督和纠正，变得越来越重要。这不仅能够提高系统的安全性，还能够增加其在复杂和动态环境中的鲁棒性。该研究通过将自主代理的行为建模为多玩家博弈，探讨了如何在这些系统中引入不确定性，从而使代理在面临不确定人类偏好的情况下保持可纠正性。

在论文中，研究团队详细介绍了如何将可纠正性建模为两玩家博弈，并分析了多代理环境中不同场景下的可纠正性表现。他们提出了一个通用框架，其中自主代理可以在不确定的环境中请求人类的监督，并进一步分析了代理在面对人类偏好和行为不确定性时的策略选择。这一研究不仅为理论研究提供了新的视角，还为实际应用提供了指导方针，特别是在需要多人协作和对抗性系统设计的领域，如网络安全和多机器人协作。

这篇论文的研究由艾伦图灵研究所的三位科学家共同完成，他们分别是Edmund Dable-Heath、Boyko Vodenicharski和James Bishop。

艾伦图灵研究所 是英国的国家数据科学和人工智能研究院，致力于推动数据科学和人工智能领域的前沿研究和应用。该研究所汇聚了来自世界各地的顶尖科学家和研究人员，他们在数据科学、机器学习、人工智能等领域进行开创性研究。

Edmund Dable-Heath是应用研究中心的数据科学家，专注于国防和安全领域的最新数据科学和深度学习研究。他在帝国理工学院完成了博士学位，研究内容涉及量子计算攻击模型下评估量子安全协议。

Boyko Vodenicharski也是应用研究中心的数据科学家，研究领域包括神经网络、图论、无监督学习和深度学习。他在海德堡大学获得了硕士学位，研究方向为开发用于视频显微镜中细胞分割和跟踪的新算法。

虽然关于 James Bishop 的详细背景信息较少，但可以肯定的是，他也是艾伦图灵研究所的重要成员，与团队一道在这一前沿领域进行深入研究。

通过这项研究，团队不仅探讨了在多代理环境中保持代理可纠正性的方法，还提供了在不确定环境中设计安全且有效的AI系统的宝贵见解。这些发现不仅具有理论意义，也在实践中为多代理系统的设计和实施提供了有力支持。

可纠正性与一致性概述

在探讨多智能体博弈中的可纠正性和一致性之前，有必要明确什么是自主代理的可纠正性和一致性。可纠正性是指自主代理在运行过程中能够接受人类监督和干预的能力。这意味着当自主代理的行为可能导致不良后果时，人类能够对其进行纠正，确保其行为符合预期。这一特性对于保证AI系统在复杂动态环境中的安全性和可靠性至关重要。

一致性则是指自主代理的行为能够与人类的目标和偏好保持一致。为了使AI系统在多代理环境中有效工作，确保每个代理的行为都能与整体系统的目标保持一致至关重要。这不仅能够提高系统的效率，还能避免由于各代理之间的冲突而导致的不良后果。

本研究的目的是在多代理系统中引入不确定性，以增强自主代理的可纠正性和一致性。具体来说，研究团队提出了一种博弈论框架，通过将多代理系统建模为两玩家博弈，分析了不确定性在这些系统中的作用。通过这种方法，研究团队希望能够找到一种方法，使自主代理即使在面对人类偏好和行为不确定的情况下，依然能够保持可纠正性和一致性。

该研究的主要问题包括：

• 如何在多代理环境中建模自主代理的可纠正性？研究团队提出了一种通用框架，将可纠正性建模为两玩家博弈，使代理能够在不确定的环境中请求人类监督。
• 在多代理博弈中引入不确定性对可纠正性有何影响？通过分析不同游戏场景下代理的策略选择，研究团队探讨了不确定性对代理可纠正性的影响。
• 如何在实际应用中设计具有可纠正性和一致性的多代理系统？研究结果为多代理系统的设计提供了指导方针，特别是在需要多人协作和对抗性系统设计的领域，如网络安全和多机器人协作。

通过上述研究，团队希望能够为自主代理系统的设计和实现提供新的思路和方法，确保这些系统在实际应用中的安全性和可靠性。

研究框架

在这篇论文中，研究团队提出了一种基于博弈论的框架，以分析多智能体系统中的可纠正性问题。他们通过将多智能体系统建模为两个玩家的博弈，探讨在多代理环境中引入不确定性如何影响代理的可纠正性。

多智能体系统的博弈结构以两名自主代理和一名人类作为玩家。每个代理都有一组可供选择的动作，其中一个动作允许人类进行监督。通过这种结构，研究团队能够模拟现实世界中自主代理在不确定人类偏好的情况下如何进行决策。游戏的结构设计为贝叶斯博弈，以引入对人类行为和偏好的不确定性，并分析代理在不同情景下的策略选择和收益。

防御者/对手模型

在防御者/对手模型中，研究团队设想了一种对抗性的情景，其中一个自主代理作为防御者，另一个作为对手。防御者的目标是保护某一系统不受对手的攻击，而对手则试图破坏这一系统。防御者可以选择请求人类监督，以便在人类的指导下采取最佳行动。

在这一模型中，防御者对游戏的信念和对手的策略具有不确定性。研究团队通过构建防御者的信念分布，分析在不同情况下防御者的可纠正性策略。结果表明，当防御者对人类理性的信念较高时，其更倾向于请求人类监督，从而提高系统的安全性和鲁棒性。然而，当防御者对人类理性的信念较低时，其更可能独立采取行动，以避免因不确定的人类指导而导致的潜在风险。

多代理协作模型

在多代理协作模型中，研究团队分析了两个自主代理在共同完成某一任务时的行为。这一模型假设两名代理的目标是一致的，即共同最大化人类的奖励函数。在这一框架下，代理可以选择请求人类监督，以确保其行为符合人类的期望。

研究团队通过构建两名代理的信念分布和偏好关系，分析在不同不确定性情况下代理的策略选择。结果表明，当两名代理都相信人类的理性较高时，他们更倾向于请求人类监督，从而确保其行为的一致性和可纠正性。然而，当两名代理之间存在策略依赖关系时（例如在谐波游戏中），随着人类理性的提高，代理反而不愿意请求监督。这一现象突显了多智能体系统设计中需要考虑的复杂行为动态。

通过这两个主要案例研究，研究团队展示了在不同情景下分析多智能体系统中代理可纠正性和一致性的方法，为多代理系统的设计和实际应用提供了理论依据和实践指导。通过这种博弈论框架，研究团队不仅能够预测代理在不同不确定性下的行为，还能够为系统设计者提供优化策略，从而提升多智能体系统的安全性和有效性。

多智能体可纠正性游戏

研究团队提出了一种博弈论框架，用于分析自主代理与人类互动中的可纠正性问题。通过设置不同的游戏情景和假设条件，团队探索了在多代理环境下，自主代理如何通过请求人类监督来实现可纠正性。

图1：显示编码为颜色的每个试剂的纳什均衡位置的相图。第一行显示了在单调博弈对（3,4,1,2）和（3,1,4,2）之间不确定的代理。在最后一行中，代理在单调和谐博弈之间是不确定的，这两个博弈都在右x轴上。x和y轴分别显示了代理对所玩游戏是游戏1的信念（游戏定义见右栏的x轴），以及人类做出理性决策的概率。

在两行中，代理都有一个共同的信念p，即人类会做出理性的决定。强调了可纠正性区域和违反直觉的代理行为区域。后者我们称之为“反直觉”，因为随着人类理性的降低，行为主体越来越倾向于在人类监督下行事。

问题设置：自主代理与人类的互动

研究首先提出一个由两个自主代理和一个人类组成的多智能体系统。每个代理都可以选择执行一组动作，其中包含一个特殊动作，允许人类介入并指导代理的决策。通过这种设计，研究团队模拟了现实世界中自主代理在不确定的人类偏好下进行决策的过程。

在这个框架下，两个自主代理的目标是最大化人类的奖励函数。人类的行动集取决于代理采取的行动，并且假设人类根据自身的偏好采取固定策略。这一假设使得代理的行为能够被模型化和分析，从而得出关于可纠正性的结论。

游戏中的假设条件与偏好关系

在多智能体可纠正性游戏中，研究团队定义了不同的偏好关系，表示人类和代理对不同行动组合的偏好。具体来说，假设代理的偏好关系为≺1和≺2，而人类的偏好关系为≺H。

例如，当≺H=≺1且≺H≠≺2时，人类与代理1的目标一致，而与代理2的目标不一致。相反，当≺H=≺1=≺2时，所有玩家的目标完全一致。通过这些假设，研究团队能够分析在不同的偏好关系下，代理的策略选择和收益情况。

两个玩家的可纠正性博弈

在研究中，两个自主代理的可纠正性博弈被建模为一个2x2的基础游戏矩阵，其中包含人类作为显性第三玩家。通过这一模型，研究团队探讨了在多代理环境下，不确定性对可纠正性的影响。

图2：对人类理性的信念的相图，以及正在玩的一对游戏中的哪一个，颜色表示当代理人被激励要求人类独立行动时，蓝色表示可纠正区域。代理人不确定的游戏在每个子图的标题中都有说明。

定义与类型

在这个模型中，游戏的定义和类型包括玩家的行动集合、类型和收益函数。自主玩家有对所玩游戏的信念πGi，并对人类理性程度有估计。人类玩家知道每个实例中玩的游戏，并根据自身偏好理性行为。代理的动作集合为{α, β, ω}，而人类的动作集合为{α′, β′}。

动作与收益分析

每个代理都有三种可能的动作：{α, β, ω}。动作ω表示代理是可纠正的，因为它允许人类指导代理的行动。代理的收益函数取决于基础游戏G和代理对游戏和人类理性的估计。例如，当代理相信人类会理性地选择对自己有利的行动时，代理会更倾向于请求人类监督。

纳什均衡的求解

通过构建不同的收益矩阵和信念分布，研究团队分析了代理在不同情况下的纳什均衡。对于完全理性且对齐的人类，防御者有动机采取询问人类的行动；而对于完全不理性的人类，防御者不会被激励请求监督。研究还发现，当代理对游戏的不确定性增加时，他们更可能请求人类意见，从而提高系统的可纠正性。

图3：为具有两个动作的游戏中防御代理的不同不确定性和人类理性信念绘制的预期收益相图。这里的不确定性涵盖了所有可能的双人游戏对（按比例）。可纠正性等级由颜色条给出，正值表示更大的可纠正性。应注意不确定性与人类理性之间的线性关系。

这一分析表明，通过引入不确定性和构建合理的偏好关系，可以在多代理系统中实现自主代理的可纠正性。这一研究为多代理系统的设计提供了理论基础，并为实际应用中的安全性和鲁棒性提供了指导。

对抗性系统设计

对抗性系统设计是一个关键研究领域。随着自主代理在网络安全等领域的应用日益广泛，防御者与对手的互动成为一个重要的研究主题。

对抗性情景的背景

对抗性情景广泛应用于网络安全领域，在这种情景中，一个自主代理（防御者）旨在保护系统免受另一个代理（对手）的攻击。自主代理系统在网络中往往具有关键的基础设施访问权，这意味着如果不加以控制，可能会对系统造成重大损害。因此，确保防御者能够在需要时接受人类的监督和指导，变得尤为重要。

图4：对于具有三个动作的游戏，为防御代理的不同不确定性和人类理性信念绘制的预期收益相图。这里对一对游戏进行了平均。可纠正性量表由颜色条给出，正值表示更大的可纠正性，与代理人认为人类的非理性程度和不确定性程度相比，可纠正性存在显著的亚线性关系。

建模防御者与对手的互动

在建模防御者与对手的互动时，研究团队将其设计为一个2x2的博弈游戏。防御者的策略包括选择自主行动或请求人类监督，而对手则试图通过各种策略来攻破防御。这一模型考虑了不同程度的人类理性，即人类在面对对手的行动时，会根据其理性程度采取相应的策略。

通过构建防御者对游戏的信念分布和对手策略的不确定性，研究团队分析了不同情况下防御者的可纠正性策略。他们提出了一系列不等式，用于描述防御者在不同信念和策略下请求人类监督的动机。这些不等式表明，当人类被认为是高度理性的，防御者更倾向于请求人类监督；反之，当人类被认为是不理性的，防御者则更倾向于自主行动。

分析防御者的可纠正性条件

在分析防御者的可纠正性条件时，研究团队重点关注了防御者在不同人类理性程度下的行为。他们发现，当防御者相信人类的理性较高时，防御者会更频繁地请求人类监督，从而确保其行为的安全性和一致性。然而，当防御者对人类的理性信念较低时，其更倾向于自主行动，以避免因不确定的监督而产生的不良后果。

研究还发现，不同游戏类型对防御者的可纠正性策略有显著影响。例如，在单调游戏中，防御者的策略较为简单，通常会选择唯一的最佳策略；而在谐波游戏中，由于策略之间的复杂依赖关系，防御者的决策变得更加复杂，并且更容易受到对手策略变化的影响。

讨论人类理性对系统设计的影响

人类理性在系统设计中起着至关重要的作用。研究表明，当防御者对人类理性的信念较高时，其更倾向于请求人类监督，从而确保系统的可纠正性。然而，过度依赖人类监督可能会降低系统的自主性。因此，在设计多代理系统时，工程师需要在自主性和可纠正性之间找到平衡点，以确保系统在关键时刻能够有效响应并进行纠正。

通过对防御者与对手互动的建模和分析，研究团队揭示了在不确定环境下实现防御者可纠正性的关键因素。这一研究不仅为网络安全中的对抗性系统设计提供了理论依据，还为实际应用中的多代理系统设计提供了宝贵的指导。通过合理设计自主代理的信念和策略，可以在确保系统安全性的同时，提高其在复杂环境中的鲁棒性和可靠性。

复杂情况下的机器人行为

在研究多智能体系统的可纠正性时，理解机器人在不同游戏环境中的行为至关重要。单调游戏和谐波游戏提供了两个不同的场景，帮助我们分析代理在这些情况下的决策策略。

单调游戏与谐波游戏的对比

单调游戏是指每个代理独立选择其最佳策略，而不需要考虑其他代理的选择。这类游戏的特点是每个代理都有一个明确的最优策略，且这些策略之间不存在复杂的依赖关系。例如，在某些工业机器人任务中，每个机器人可以独立决定是否处理特定资源，而不需要考虑其他机器人的选择。

相反，谐波游戏（如石头剪刀布）则要求代理之间进行战略互动。这种游戏中，每个代理的最佳策略取决于其他代理的选择，且通常不存在纯粹的纳什均衡解。谐波游戏的特征在于策略选择之间存在改进循环，即一个代理的最佳策略会不断变化，取决于其他代理的策略。

不确定性对策略选择的影响

在多代理系统中，引入不确定性可以显著影响代理的策略选择。研究团队通过构建代理对游戏的信念分布，分析了不同不确定性情况下的策略选择。当代理对人类理性的信念较高时，其更倾向于请求人类监督，以确保其行为符合预期。然而，当代理对游戏类型和人类行为的不确定性增加时，其策略选择变得更加复杂。

例如，在单调游戏中，由于每个代理都有一个明确的最优策略，代理通常会选择这一策略并且请求人类监督的动机较弱。相反，在谐波游戏中，由于策略选择的依赖关系，代理更可能在不确定性增加时请求人类监督，以避免因错误决策而导致的不利后果。

相图分析与反直觉特征

为了更好地理解多代理系统中的复杂行为，研究团队使用相图分析展示了不同条件下的纳什均衡。在相图中，x轴表示代理对游戏的信念，y轴表示人类的理性程度。通过相图，研究团队能够直观地展示在不同信念和理性条件下，代理的最佳策略选择。

相图中最引人注目的是一些反直觉特征。例如研究发现，在某些情况下，当人类理性降低时，代理反而更倾向于请求人类监督。这一现象在谐波游戏中尤为明显，因为代理希望通过人类的干预来避免因策略依赖关系而产生的不利后果。

通过相图分析，研究团队揭示了多代理系统中的一些关键行为模式，并为系统设计提供了宝贵的见解。这些反直觉特征表明，在设计多代理系统时，需要充分考虑代理之间的互动和不确定性对策略选择的影响。

通过对单调游戏和谐波游戏的对比研究，研究团队深入分析了多代理系统中代理在复杂情况下的行为。通过引入不确定性和使用相图分析，他们展示了多代理系统中可纠正性的实现条件，并揭示了一些在实际应用中可能遇到的反直觉特征。这一研究为多代理系统的设计提供了理论基础，并为实际应用中的安全性和有效性提供了指导。

实际应用与挑战

研究团队不仅在理论上探讨了多代理系统的可纠正性问题，还提出了在实际应用中的具体场景。这些应用场景涵盖了多代理系统设计、网络安全中的对抗性系统等，分析了面临的主要挑战和可能的解决方案。

多代理系统设计中的实际应用

多代理系统设计是当前人工智能和机器人研究中的一个重要领域。在实际应用中，多个自主代理需要协同工作，以完成复杂的任务。例如，在工业生产中，多个机器人可以协作进行装配、加工和运输；在智能交通系统中，多辆自主驾驶车辆需要协同确保交通顺畅和安全。

研究团队提出的博弈论框架为这些多代理系统的设计提供了理论基础。通过引入不确定性，系统设计者可以确保代理在需要时能够接受人类的监督和纠正，从而提高系统的安全性和鲁棒性。具体来说，设计者可以根据不同的应用场景调整代理的信念分布和人类理性程度，以优化系统的整体表现。

网络安全中的对抗性系统

在网络安全领域，对抗性系统的设计是一个关键问题。网络攻击日益复杂和多样化，自主防御代理在保护关键基础设施时起着至关重要的作用。研究团队的模型模拟了一个自主代理（防御者）和一个对手之间的博弈，通过分析防御者在不同情景下的策略选择，为网络安全系统的设计提供了指导。

具体而言，当防御者对人类理性的信念较高时，其更倾向于请求人类监督，以确保在面对复杂攻击时做出最佳决策。然而，防御者也需要在自主性和可纠正性之间找到平衡点，以避免过度依赖人类监督而降低系统的反应速度和自主性。通过合理设计防御者的信念分布和对手策略的建模，系统设计者可以提高防御者在面对不确定环境时的表现。

面临的挑战与解决方案

尽管多代理系统在实际应用中具有广阔的前景，但也面临着一系列挑战。，随着代理数量和动作空间的增加，计算复杂度显著提高，直接计算可纠正性区域变得更加困难。为解决这一问题，设计者需要简化系统建模，并对代理的行为作出合理假设，以降低计算复杂度。

过度依赖人类监督可能会降低系统的自主性，在实际应用中，如何在自主性和可纠正性之间找到平衡点，是一个重要的研究方向。通过引入学习动态和自适应机制，系统可以根据实际情况动态调整代理的策略选择，以确保在关键时刻能够有效响应并进行纠正。

最后，不确定性对策略选择的影响需要进一步研究。尽管引入不确定性可以提高系统的鲁棒性，但也可能导致代理在某些情况下做出次优决策。研究团队建议，通过使用先进的博弈论分析工具和算法，系统设计者可以更好地预测代理在不同不确定性条件下的行为，从而优化系统设计。

未来工作与研究方向

研究团队探讨了多智能体系统中的可纠正性问题，并提出了基于博弈论的分析框架。尽管取得了重要进展，但仍有许多问题需要进一步探索，并且学习动态对可纠正性的影响也值得深入研究。

未来需要进一步探索的问题

尽管本文提出了多代理博弈中的可纠正性框架，但在更大规模和更复杂的系统中，该框架的适用性尚未得到全面验证。研究团队建议在未来的工作中，通过实际应用测试和大规模模拟，进一步验证和完善这一框架。这将有助于理解在不同应用场景下，自主代理系统的行为特征和可纠正性表现。

代理之间的策略依赖关系对系统的整体可纠正性影响重大。特别是在谐波游戏等复杂互动环境中，代理的策略选择和相互依赖关系变得尤为复杂。未来的研究可以深入探讨不同类型的策略依赖关系，及其对系统可纠正性和一致性的影响，以优化多代理系统设计。

学习动态对可纠正性的影响

学习动态是指代理通过与环境互动，不断调整和优化其策略的过程。这一过程在实际应用中尤为重要，因为自主代理需要在不断变化的环境中进行自我调整，以实现最佳表现。然而，学习动态也可能导致代理“学会”次优策略，甚至脱离原有设计的可纠正性区域。

未来研究需要重点关注以下几个方面：

学习动态的建模与分析：通过构建更精确的学习动态模型，分析代理在不同学习策略和环境变化下的行为。这将有助于理解学习动态对可纠正性和一致性的具体影响。

学习动态与人类监督的结合：研究如何在学习动态过程中，合理引入人类监督，以确保代理在学习过程中保持可纠正性。特别是在关键决策时刻，通过人类干预可以有效避免系统陷入次优状态。

学习算法的优化：开发和优化新的学习算法，使代理能够更快适应环境变化，并在保持可纠正性的同时，实现更高效的决策。

潜在的研究方向和应用场景

基于当前研究成果，未来的研究可以拓展到以下几个方向和应用场景，在智能交通系统中，多个自主驾驶车辆需要协同工作，确保交通安全和流畅。研究如何在这种多代理环境中引入不确定性和人类监督，以提高系统的可纠正性和一致性。在医疗领域，自主机器人可以辅助医生完成复杂手术和治疗。通过引入可纠正性框架，可以确保这些机器人在关键时刻接受医生的监督和干预，保证手术的安全性和成功率。在工业自动化中，多个自主机器人协同工作以提高生产效率和产品质量。研究如何优化这些机器人的学习动态和策略选择，使其在保持自主性的同时，实现更高效的协作。

未来的研究将继续探索多代理系统中的可纠正性问题，特别是学习动态和复杂互动对系统行为的影响。通过结合先进的博弈论分析和学习算法优化，可以进一步提升多智能体系统的安全性、鲁棒性和效率，为实际应用中的广泛领域提供支持。（END）

参考资料：https://arxiv.org/abs/2501.05360

本文转载自​​大噬元兽​​ ，作者： FlerkenS