微软研究院发布无代码开发工具 AUTOGEN STUDIO，简化多智能体系统的构建与调试

多智能体系统（Multi-Agent Systems, MAS）是由多个智能体（agents）协同工作以解决复杂任务的系统。这些智能体可以是生成式 AI 模型、工具或其他计算单元，它们通过协作来完成单个智能体难以独立完成的任务。多智能体系统在许多领域展现了其强大的应用潜力，包括自动驾驶、智能制造、金融分析和医疗诊断等。在这些应用中，多智能体系统能够处理长时间运行的复杂任务，提供更高的灵活性和适应性。

尽管多智能体系统具有巨大的潜力，但其开发和调试过程却充满挑战。开发者需要配置大量参数，包括选择合适的模型、定义代理的技能和工具、设置通信和协调机制等。此外调试多智能体系统也非常复杂，开发者需要理解和分析代理之间的交互，以提取有用的信号来改进系统。这些因素使得多智能体系统的设计过程繁琐且容易出错，成为开发者进入这一领域的重大障碍。

为了解决上述挑战，微软研究院发布AUTOGEN STUDIO，这是一种无代码开发工具，旨在快速原型设计、调试和评估多智能体工作流。AUTOGEN STUDIO 提供了一个基于 Web 的界面和 Python API，允许开发者使用声明式（基于 JSON）的规范来表示启用 LLM 的代理。其主要功能包括：

• 拖放界面：通过直观的拖放 UI 来定义和调试代理工作流。
• 交互式评估和调试：支持工作流的交互式评估和调试，提供可视化的消息和操作分析工具。
• 可重用组件库：包含可重用和共享的代理组件库，简化了多智能体系统的开发过程。
• 开源实现：作为开源项目，AUTOGEN STUDIO 已获得广泛的用户基础，展示了多智能体开发工具的设计模式和未来研究方向。

研究团队来自位于美国雷德蒙德的微软研究院（Microsoft Research），他们在生成式 AI 模型、多智能体系统和开发者工具方面具有丰富的经验和专业知识。团队成员包括 Victor Dibia、Jingya Chen、Gagan Bansal、Suff Syed、Adam Fourney、Erkang Zhu、Chi Wang 和 Saleema Amershi。他们的工作为了在简化多智能体系统的开发过程降低开发门槛，并通过开源实现促进这一领域的创新。AUTOGEN STUDIO 的开源实现不仅为开发者提供了强大的工具，还为研究和实践提供了一个适合的平台。（开源地址：https://github.com/microsoft/autogen/tree/autogenstudio/samples/apps/autogen-studio）

相关工作

生成式 AI 模型，如大型语言模型（LLMs），在许多任务中表现出色，但也存在一些局限性。一个主要问题是“幻觉”，即生成不基于事实的内容。此外，这些模型在推理任务或处理新颖的、分布外的问题时表现有限。为了解决这些问题，研究者们开始探索将生成式 AI 模型与各种工具结合使用的方法。

通过赋予模型使用工具的能力，可以显著增强其性能。例如，React 框架采用了“推理和行动”范式，使用 LLMs 生成推理轨迹和任务特定的行动。这种方法不仅提高了模型的准确性，还增强了其在复杂任务中的适应性。其他框架如 LIDA 和 LangChain 也通过预定义的管道将模型和工具结合起来。然而随着任务复杂性的增加，这些预定义管道的表现开始显现出局限性，促使研究者探索更灵活和自适应的代理架构。

为了简化多智能体应用的开发，各种技术团队的多个框架被提出。这些框架提供了创建多智能体应用的抽象层，使开发者能够更容易地构建和管理复杂的多智能体系统。

AutoGen：这是一个开源的可扩展框架，允许开发者构建大型多智能体应用。AutoGen 提供了丰富的工具和接口，支持开发者定义和管理多智能体系统中的各个组件。

CAMEL：该框架通过角色扮演促进代理间的自主合作，使用引导提示来指导聊天代理完成任务，同时与人类意图保持一致。

OS-Copilot：这是一个通用代理框架，能够与操作系统中的各种元素（如网页、代码终端、文件、多媒体和第三方应用）进行交互。OS-Copilot 探索了使用专用规划模块、配置器和执行器的概念，以及工具（Python 函数或 API 调用）或技能（可以即时学习和重用的工具）的使用。

尽管这些框架在多智能体系统的开发中提供了重要的支持，但它们也存在一些局限性。大多数框架主要支持代码优先的表示方式，这对非专业开发者来说门槛较高。此外，它们缺乏用于调试和评估代理行为的工具和指标，也缺乏结构化的可重用模板来加速工作流的创建过程。AUTOGEN STUDIO 通过提供可视化界面来定义和可视化代理工作流，测试和评估这些工作流，并提供常见任务的模板，解决了这些限制。

AUTOGEN STUDIO 的设计与实现

设计原则：无代码多智能体开发工具的四个设计原则

图1:AUTOGEN STUDIO提供了一个拖放式UI，可以在其中定义模型、技能/工具、内存组件，将其附加到代理和附加到工作流的代理。

AUTOGEN STUDIO 的设计基于以下四个核心原则：

快速原型设计：提供一个开发者可以快速指定代理配置并将其组合成多智能体工作流的环境。通过直观的拖放界面，开发者可以轻松定义和调整代理的各个组件。

开发者工具：提供一系列工具，帮助开发者理解和调试代理行为，改进多智能体系统。这些工具包括消息和操作的可视化分析，以及调试和评估工作流的功能。

可重用模板：提供一个可重用和共享的模板库，帮助开发者快速创建和部署多智能体工作流。这些模板促进了标准化和最佳实践的应用，推动了多智能体系统的广泛采用。

协作和共享：支持用户在多智能体工作流开发中的协作，并允许在社区内轻松共享创作。通过提供实时协作、版本控制和无缝共享的工具和功能，促进了一个动态和创新的开发环境。

系统架构：AUTOGEN STUDIO 的前端和后端组件

AUTOGEN STUDIO 的系统架构包括前端用户界面和后端 API 两个主要部分。

用户界面

• 构建视图：在构建视图中，用户可以定义和组合多智能体工作流。通过拖放界面，用户可以定义模型、技能/工具（如 Python 函数）和记忆存储（如向量数据库中的文档）。这些实体可以独立定义并保存，然后组合成代理和工作流。构建视图还提供了一些默认的代理模板，如 UserProxy 代理、AssistantAgent 和 GroupChat 代理，帮助用户快速创建工作流。
• 游乐场视图：游乐场视图允许用户创建会话，附加工作流并运行任务。用户可以在会话中测试和调试工作流，观察代理执行的消息和操作，并通过后期分析视图查看任务的各种指标，如消息数量、成本、工具使用频率和状态。
• 模板库视图：模板库视图提供了一个组件库，包含技能、模型、代理和工作流，用户可以导入、扩展和重用这些组件。每个组件规范都是声明式的（JSON），用户可以轻松导出、版本化和重新共享它们。

后端 API

图2:AUTOGEN STUDIO提供了一个后端api（web、python、cli）和一个UI，该UI实现了游乐场（如图所示）、构建和库视图。在操场视图中，用户可以根据工作流在会话中运行任务。用户还可以观察代理采取的操作，基于分析器模块查看代理消息和指标。

• Web API：后端 Web API 使用 FastAPI 库构建，支持 HTTP GET、POST 和 DELETE 方法。主要类包括 DBManager、WorkflowManager 和 Profiler。DBManager 负责对技能、模型、代理、记忆、工作流和会话等实体进行 CRUD 操作。WorkflowManager 处理声明式代理工作流的摄取，将其转换为 AUTOGEN 代理对象并执行任务。Profiler 解析代理消息以计算指标。
• Python API：Python API 提供了与 Web API 类似的功能，允许开发者在 Python 环境中定义和管理多智能体工作流。开发者可以使用 Python 代码导入和运行工作流，进行任务执行和结果分析。
• 命令行接口：命令行接口提供了启动捆绑 UI 和运行导出工作流的实用程序。用户可以通过命令行启动 AUTOGEN STUDIO 的 UI，并将工作流作为 API 端点执行，或将其打包为 Docker 容器进行大规模部署。

清单1:AUTOGEN STUDIO可以从PyPI（pip）安装，UI从命令行启动。

清单2：可以在python应用程序中导入工作流。

通过这些设计原则和系统架构，AUTOGEN STUDIO 为开发者提供了一个强大且易用的工具，简化了多智能体系统的开发、调试和部署过程。

使用和评估

自 AUTOGEN STUDIO 发布以来，该工具包在 GitHub 上获得了广泛的关注和使用。在短短五个月内，AUTOGEN STUDIO 已被安装超过 20 万次，并收到了超过 135 个 GitHub 问题。这些问题反映了用户在使用过程中遇到的各种痛点，并为工具的改进提供了宝贵的反馈。

主要的用户反馈和相应的改进，用户在定义、保存和重用组件时遇到了困难。为了解决这一问题，开发团队实现了一个数据库层，简化了组件的管理和重用。用户在创作组件时感到困难。为此，AUTOGEN STUDIO 增加了从描述中自动生成工具的功能，并集成了一个用于编辑工具的集成开发环境（IDE）。用户在进行端到端测试时，组件经常失败。为了解决这一问题，开发团队在构建视图中添加了一个测试按钮，允许用户在工作流中测试组件（如模型）。这些改进显著提升了用户体验，使得 AUTOGEN STUDIO 更加易用和高效。

AUTOGEN STUDIO 提供了一个强大的平台，支持开发者快速原型设计、测试和调试多智能体工作流。以下是一个典型的使用案例，展示了该工具的实际应用。

快速原型设计：开发者可以使用 AUTOGEN STUDIO 的拖放界面快速定义和组合多智能体工作流。例如，开发者可以定义一个生成式 AI 模型，添加相应的技能和工具，并将其组合成一个代理。然后，开发者可以将多个代理组合成一个工作流，以解决复杂任务。

测试和调试：在游乐场视图中，开发者可以创建会话，附加工作流并运行任务。通过观察视图，开发者可以实时查看代理执行的消息和操作，并通过后期分析视图查看任务的各种指标，如消息数量、成本、工具使用频率和状态。这些功能帮助开发者理解和调试多智能体系统的行为，改进系统性能。

部署和共享：一旦工作流经过测试和调试，开发者可以将其导出为 JSON 配置文件，并无缝集成到任何 Python 应用中，或作为 API 端点执行，或打包为 Docker 容器进行大规模部署。此外，开发者还可以将工作流和组件发布到模板库，与社区共享，促进协作和创新。

图3:AUTOGEN STUDIO仓库中的GitHub问题图（n=8个集群）。用户反馈范围从支持工作流创作工具（例如，配置和测试模型的能力）到一般安装。

通过这些功能，AUTOGEN STUDIO 显著降低了多智能体系统的开发门槛，使开发者能够更轻松地配置、调试和优化这些系统，从而加速了这一领域的创新和应用。

新兴设计模式和研究方向

定义和组合工作流

在多智能体系统中，配置和管理大量参数是一个复杂的任务。AUTOGEN STUDIO 采用了“定义和组合”工作流的方法，通过直观的拖放界面，用户可以首先独立定义各个组件（如模型、技能、工具和记忆存储），然后将这些组件组合成代理，并最终形成完整的多智能体工作流。这种方法不仅简化了工作流的创建过程，还提高了开发者的理解和配置效率。AUTOGEN STUDIO 提供了定义和测试模型的工具、用于生成和编辑工具的集成开发环境（IDE），以及基于画布的工作流可视化布局，支持拖放交互以关联工作流中的实体。

调试和理解工具

多智能体工作流可能由于多种原因而失败，从模型配置不当到代理指令不明确，再到工具配置错误或终止条件设置不当。为了帮助用户调试和理解多智能体系统的行为，AUTOGEN STUDIO 提供了强大的调试工具。这些工具包括观察视图和后期分析视图。观察视图允许用户实时查看任务进展中代理执行的消息和操作，而后期分析视图则可视化任务的各种指标，如消息数量、成本、工具使用频率和状态。这些工具帮助用户识别和解决问题，改进系统性能。

导出和部署

尽管无代码工具如 AUTOGEN STUDIO 能够快速迭代和演示工作流，但开发者通常希望将这些成果集成到核心应用中。为此，AUTOGEN STUDIO 支持将多智能体工作流无缝导出为 JSON 配置文件，并集成到任何 Python 应用中。用户还可以将工作流作为 API 端点执行，或打包为 Docker 容器进行大规模部署。这种无缝导出和部署功能使得开发者能够轻松地将多智能体工作流应用于实际生产环境中，提升了工具的实用性和灵活性。

协作和共享

协作和共享是加速创新和改进多智能体系统的关键。AUTOGEN STUDIO 通过提供实时协作、版本控制和无缝共享的工具和功能，促进了用户在多智能体工作流开发中的协作。用户可以在模板库中发布和共享他们的工作流、技能和代理，其他用户可以导入、扩展和重用这些组件。这种社区驱动的方法不仅促进了知识和经验的共享，还推动了多智能体系统的广泛应用和创新。

通过这些新兴设计模式和研究方向，AUTOGEN STUDIO 为多智能体系统的开发提供了一个强大且易用的平台，显著降低了开发门槛，促进了这一领域的快速发展和应用。

研究方向

在多智能体系统的开发过程中，评估代理的性能、可靠性和可重用性是至关重要的。离线评估工具可以帮助开发者在不影响实际运行的情况下，全面测试和分析代理的表现。这些工具可以回答以下问题：

1. 如何衡量代理在不同任务中的性能？
2. 如何评估代理的可靠性和稳定性？
3. 如何理解代理的优缺点，并探索替代方案和结果？

通过开发这些离线评估工具，研究人员可以更好地理解代理的行为，优化其性能，并确保系统在实际应用中的可靠性。

多智能体系统的设计决策对其整体性能和效率有着深远的影响。研究人员需要量化这些设计决策的影响，以确定最佳的系统配置。

这包括：

• 确定给定问题的最佳代理数量和组成。
• 分配职责和协调行动的最佳方式。
• 集中控制与分散控制、同质代理与异质代理之间的权衡。

通过量化这些设计决策的影响，研究人员可以优化多智能体系统的设计，提高其解决复杂任务的能力。

多智能体系统需要具备动态适应能力，以应对不断变化的任务需求和环境条件。研究方向包括：

• 基于任务需求和可用资源动态生成代理。
• 调整工作流配置以实现最佳性能。
• 适应不断变化的环境和用户偏好。

此外，研究人员还需要探索如何利用人类监督和反馈来提高代理的可靠性、任务性能和安全性。这些优化方法将有助于多智能体系统在实际应用中更加高效和灵活。

通过这些未来研究方向的探索，AUTOGEN STUDIO 将进一步提升多智能体系统的开发和应用水平，推动这一领域的创新和发展。

结论

AUTOGEN STUDIO 是一个无代码开发工具，旨在简化多智能体系统的构建、调试和评估过程。其主要特点和贡献包括：

无代码界面：提供直观的拖放界面，使开发者能够轻松定义和组合多智能体工作流，降低了开发门槛。

交互式调试和评估：支持实时观察和后期分析，帮助开发者理解和优化多智能体系统的行为和性能。

可重用组件库：包含丰富的可重用和共享的代理组件，促进了标准化和最佳实践的应用。

开源实现：作为开源项目，AUTOGEN STUDIO 已获得广泛的用户基础，展示了多智能体开发工具的设计模式和未来研究方向。

这些特点使得 AUTOGEN STUDIO 成为一个强大且易用的平台，显著降低了多智能体系统的开发复杂性，促进了这一领域的创新和应用。

未来的研究方向将进一步提升 AUTOGEN STUDIO 的功能和应用水平，推动多智能体系统的开发和优化。

离线评估工具：开发用于衡量代理性能、可靠性和可重用性的工具，将帮助开发者更好地理解和优化代理的行为。

多智能体系统设计决策的影响：量化多智能体系统设计决策的影响，有助于确定最佳的系统配置，提高系统的整体性能和效率。

优化多智能体系统：研究动态生成代理、调整工作流配置和适应环境变化的方法，将增强多智能体系统的灵活性和适应性。

通过这些研究方向的探索，AUTOGEN STUDIO 将进一步降低多智能体系统的开发门槛，提升其在实际应用中的性能和可靠性，推动这一领域的快速发展和广泛应用。未来，随着更多创新和改进的实现，AUTOGEN STUDIO 有望成为多智能体系统开发的标准工具，促进这一领域的持续进步和突破。（END）

参考资料：​​​https://arxiv.org/pdf/2408.15247​​

本文转载自 ​​大噬元兽​​，作者： FlerkenS