微软发布Magma：跨越数字与物理世界的多模态AI基础模型 原创 精华

01、概述

近日，微软研究团队发布了一个令人振奋的突破性成果——Magma。这一多模态AI基础模型的问世，不仅为未来的智能机器人与虚拟助手铺设了新道路，也让我们看到了数字世界与物理世界深度融合的曙光。今天，就让我们一起深入了解这个能跨越不同任务和环境的智能系统，它如何为我们创造出前所未有的可能性。

想象未来的AI助手：数字与物理的无缝连接

在科幻小说中，我们常常看到这样的场景：一名机器人不仅能流畅地操作电脑，完成复杂的菜单导航，还能够通过物理手段完成操作，比如拿起工具、搬动物品等。一直以来，这种跨越数字和物理世界的能力，似乎离我们很远，但今天，微软研究团队的Magma模型让这一梦想变得越来越真实。

Magma是一个多模态AI基础模型，其设计初衷就是让人工智能能够处理并生成跨越数字和物理环境的行动建议。这意味着，Magma不仅能理解和操作用户界面，还能够协调机器人在现实世界中的动作与交互。它的能力让我们不禁期待：未来，是否每个人都能拥有一个既能在电脑上操作系统，又能与现实世界中的物品互动的AI助手？

02、Magma的强大之处：一体化的多模态学习

与传统的任务专用AI模型不同，Magma是建立在“基础模型”这一理念上的，通过在海量多样的数据集上进行预训练，使得它在多种任务和环境下都能够表现出色。无论是执行软件中的指令，还是在物理世界中拿起工具，它都能轻松应对。这一切都归功于它的**视觉-语言-行动（VLA）**能力，能够将图像、语言和空间信息综合起来，从而理解并执行复杂的任务。

例如，Magma能够根据用户描述的目标，制定执行计划并完成任务。它通过从公共的视觉和语言数据中转移知识，使得它不仅能理解语言指令，还能理解空间和时间维度的关系，完美地将这三者融合在一起，解决复杂的任务和场景。

03、为Magma赋能的两大创新：SoM和ToM

为了让Magma能够在数字世界和物理世界之间自由切换，微软团队引入了两项创新技术——Set-of-Mark (SoM) 和 Trace-of-Mark (ToM)。这两项技术在训练过程中为模型提供了结构化的任务理解，使得Magma能够在用户界面导航和机器人操作两个领域都表现得尤为出色。

Set-of-Mark (SoM)：任务中的关键元素

SoM为模型提供了任务相关的关键元素集，帮助Magma在处理图像时快速识别出“需要关注的部分”。比如，当任务是浏览网页时，SoM会标注出所有可点击的界面元素，如按钮和链接。对于物理任务，比如摆放餐具，SoM则会标记出盘子、杯子及其在桌子上的位置。这些高层次的提示让Magma知道哪些物品或元素在完成任务中至关重要。

Trace-of-Mark (ToM)：任务的动态变化

与SoM的静态标注不同，ToM则专注于捕捉任务中元素的动态变化。例如，在搬动物品的任务中，ToM会记录手的运动轨迹，帮助Magma更好地理解动作的时间和空间演变。这种基于时间的视频动态追踪能力，使得Magma能够在多变的环境中进行更为精准的任务预测和决策。

04、Magma亮点

零-shot智能：让AI跨越领域与任务

Magma的另一个亮点在于其零-shot（零次训练）能力。在没有任何针对特定任务的数据集微调的情况下，Magma能够进行跨领域的任务执行。例如，在模拟的Google Robots环境中，Magma能够出色地完成不同类型的机器人操作任务，表现甚至优于许多专门为某一领域训练的AI模型。

这一突破性的能力，让Magma在多种应用场景下都能展现强大的适应性和灵活性。从虚拟助手到家庭机器人，Magma都能在没有大量标注数据的支持下，实现出色的任务完成效果。

高效微调：提升模型执行能力

虽然Magma在零-shot模式下表现出色，但它也具备高效微调的能力。当任务需要更多定制化操作时，Magma能够通过少量的数据微调，迅速适应新的环境或任务要求。例如，在Web用户界面导航任务中，Magma通过在少量的网页数据集上进行微调，表现出了比其他专门训练的模型更高的成功率。

图5中显示的Widow-X机器人和LIBERO机器人的微调实验，进一步证明了Magma在实际应用中的强大性能。即使在面对不同机器人硬件的情况下，Magma依然能够顺利完成任务，并且表现出比其他方法更高的成功率。

05、Magma的未来：通向全面智能的关键一步

Magma不仅仅是一个AI模型，它代表了微软研究对于未来智能体系统的整体构想。通过结合推理能力、探索能力和行动能力，Magma正在为下一代强大且灵活的AI助手奠定基础。未来，开发者将能够通过Magma与AutoGen结合，构建出能够在现实世界中执行复杂任务的智能系统，无论是虚拟助手还是智能机器人。

06、结语：迈向智能新时代

Magma的发布，标志着微软在智能体AI领域的又一重大突破。通过跨越数字和物理世界，Magma让我们看到了一个全新的AI应用场景：不仅能理解语言和视觉，还能在物理世界中进行准确的操作。随着技术的不断进步，未来的智能体将能够更好地理解和适应我们的生活环境，成为更加强大而智能的助手。

对于开发者而言，Magma和AutoGen的结合，提供了一个极为强大的工具，帮助他们在更广泛的场景中实现AI的应用。无论是家庭助手，还是工业机器人，Magma都将带来更高效、更精准的任务执行能力。

作为微软研究的最新成果，Magma无疑为我们展示了未来人工智能的无限潜力。随着这一技术的不断迭代和应用，我们有理由相信，智能世界的到来不再遥远。

本文转载自公众号Halo咯咯    作者：基咯咯

原文链接：​​https://mp.weixin.qq.com/s/pxv7voHFTW1Ob6c4qC5TVg​​