超长小说可以用AI翻译了，新型多智能体协作系统媲美人工翻译

机器翻译 (MT) 的最新进展显着提高了各个领域的翻译质量。然而，由于其复杂的语言、比喻表达和文化差异，文学文本的翻译仍然是一个艰巨的挑战。

最近，一篇题为《(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts》的论文，提出了一种用于文学翻译的基于大型语言模型（LLM）的新型多智能体框架，并构建了一家名为 TRANSAGENTS 的虚拟出版公司（文学翻译多智能体系统）。

• 论文：(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts
• 论文地址：https://arxiv.org/abs/2405.11804

该框架通过利用多个智能体的集体能力来反映传统的翻译出版流程，以解决复杂的翻译问题。为了评估系统的有效性，该研究还提出两种创新的评估策略：单语人类偏好（MHP）和双语 LLM 偏好（BLP）。MHP 从目标语言的单语读者的角度评估翻译质量，而 BLP 使用高级 LLM 直接将翻译与原文进行比较。

实验结果表明，人类评估者和 LLM 都更喜欢 TRANSAGENTS 的翻译，而不是人类撰写的参考翻译，特别是在需要特定领域知识的情况下。

多智能体虚拟公司 ——TRANSAGENTS

该研究构建了一家虚拟多智能体翻译出版公司 TRANSAGENTS，拥有多元化的员工，包括首席执行官、高级编辑、初级编辑、译员、本地化专家和校对员。当人类客户分配书籍翻译任务时，由 TRANSAGENTS 选定的智能体团队将协作翻译书籍。这模拟了整个图书翻译过程，其中不同角色的智能体协同工作，以确保翻译始终保持高质量和一致性。

为了增强翻译过程中模拟的真实性和有效性，该研究利用 GPT-4-turbo 为每个不同的角色生成一组多样化的虚拟智能体配置文件（30 个）。如下图所示，这些配置文件经过全面设计，包含远远超出语言技能范围的广泛属性。

该研究使用两种智能体协作策略，包括加减协作（Algorithm 1）和三方协作（Algorithm 2）。

加减协作策略仅涉及两个智能体。一个充当加法智能体，负责提取尽可能多的相关信息；另一个充当减法智能体，负责检查提取的信息，消除冗余细节，并向加法智能体提供反馈。

三方协作将协作分为三个分支：

• 行动（Action）：遵循指令并实施所需行动；
• 批评：审查生成的响应并给行动分支提供建设性反馈；
• 判断：对响应是否满意做出最终决定，并决定是否需要进一步修改。

每个分支分配一个智能体。

评估实验

该研究在 WMT2023 DLLT 测试集上进行了自动评估，结果如下表所示：

虽然 TRANSAGENTS 在 d-BLEU 指标上表现不佳，但 d-BLEU 有局限性，可能不会充分捕捉生成文本的质量和连贯性。

与 Reference 1、GPT-4（GPT-4-1106-PREVIEW）相比，TRANSAGENTS 生成的翻译受到人类评估者偏好（MHP）情况如下图所示。

该研究还使用双语 LLM 偏好（BLP）评估了 TRANSAGENTS，结果如下图所示：

感兴趣的读者可以阅读论文原文，了解更多研究内容。

本文转自 机器之心 ，作者：机器之心

原文链接:​​https://mp.weixin.qq.com/s/q6qm0Pd0XAKZ2oUNna53vw​​