近日，AI大佬，现任Zoom CTO的黄学东，在自家的官网上发表了一篇博客。
其中隆重介绍了自己加入Zoom六个月之后创新的成果——Zoom AI Companion，以及驱动Zoom AI Companion的Zoom联邦（federated approach）AI。
在Zoom之前，黄学东曾担任微软Azure AI首席技术官，他不仅是微软首位全球华人技术院士，也是微软最高级别的华人科学家。
黄学东在微软任职了超过30年，在他的牵线搭桥下，微软于1998年在北京建起第一个亚洲研究院。
在2017年和2020年，黄学东分别当选ACM和IEEE会士，并于2023年同时当选美国国家工程院院士和美国艺术与科学院院士。
黄学东表示，人工智能从概念化到实现的转型之旅，就像一条曲折的道路，充满了不断的破坏、适应和创新。
「在过去的 30 年里，我一直走在这条道路上，从语音识别、自然语言理解，到计算机视觉。在我加入 Zoom 的过去六个月里，创新的步伐尤其令人震惊。」
Zoom联邦AI，用合适的AI跑合适的任务
Zoom希望使用AI来改善人类协作方式，不断提高生产力。
多年来，Zoom一直在为客户提供语音识别、计算机视觉、机器翻译和大型语言模型（LLM）等AI服务，以增强自家软件的竞争力。
他们的最新产品Zoom AI Companion，旨在帮助用户提高工作效率、促进无缝协作并获得更深入的交流和见解。
Zoom的联邦AI，能够使用户在之前付费服务的基础上，不用额外花钱就能享受AI Companion的功能。
这样能够大大提升用户的体验，还能快速提高新技术的在用户中的参与率。
但是对于Zoom这样拥有大量用户，高强度使用AI功能的软件，LLM推理的额外成本怎么负担呢？
要知道，GitHub的Copilot被传说，每月收费10刀，依然每个用户每月还要补贴20刀。
Zoom目前使用的LLM包括自有模型和第三方的模型（如OpenAI GPT-3.5和GPT-4，以及Anthropic Claude 2）。
Zoom联邦AI，可以整合来自合作伙伴的最新的LLM技术（例如OpenAI最新发布的GPT-4 Turbo），进一步改善Zoom客户的端到端体验。
Zoom采用了具有更好成本效益的策略：
首先使用合适的低成本LLM来完成任务，然后通过Z-Scorer评估初始任务完成质量。
在有需要的情况下，Zoom会使用更高级的LLM， 对初始LLM所获得的成果进行改进。
——这类似于一个有凝聚力的团队协同工作，能够比一个人更高效地生产更高质量的产品。
根据Zoom的内部测试，与OpenAI GPT-3.5 Turbo或其他几种最先进的LLM相比，Zoom采用联邦AI提高了AI Companion的输出质量，还有效地控制了成本。
黄学东表示，他们衡量性能的标准是更低的成本、更快的响应时间和更高质量的输出。
上图是Zoom AI Companion与GPT-4在英文会议查询任务上的性能和成本对比。
图中比较的两个关键指标为成本和输出质量。
Zoom AI Companion只用了不到GPT-4 6%的成本，就能达到几乎相当的输出质量。
与微软Copilot使用的GPT-4-32k模型相比，Zoom AI Companion的会议提问功能，可降低成本，加快响应速度，同时保持相当的输出质量。
上图是Zoom AI Companion与GPT-4在多语言会议摘要任务上的对比。
此外，AI Companion的多语言性能，进一步证明了Zoom联邦AI的强大功能，支持除英语之外的32种语言。
由于大多数LLM主要是使用英语数据进行预训练，所以Zoom增加了翻译模型来扩展多语言能力。
上图对比了Zoom AI Companion与Microsoft Copilot在多语言会议摘要任务中的表现，同样使用GPT-4作为Microsoft Copilot的代理来进行对比。
在Zoom AI Companion的多语言会议摘要中，使用Zoom的翻译模型将非英语文本翻译成英语，这样能同时考虑翻译数据与原始数据。
从图中可以看出，Zoom AI Companion以不到6%的成本完成了质量接近于GPT-4-32k的输出（97%）。
Zoom相信，人工智能的好处应该让尽可能多的人广泛使用，而Zoom的联邦AI能够无缝结合不同AI系统的优势，提供高性能结果，在实现这一愿景方面发挥着重要作用。
Zoom AI Companion，最智能的会议助手
而Zoom现在几乎所有AI功能的入口，都集中在了他们9月底推出的Zoom AI Companion上。
作为Zoom提供的「充值服务」，它利用Zoom提供的AI能力，能帮助你在中途加入会议之后，自动总结错过的会议内容。
然后轮到你发言时，结合你的观点和之前会议的内容，生成发言稿，真的做到了「替代用户开会」。
在半程加入会议之后，AI可以告诉你会议的重点。
还能帮你实时转录翻译其他参会者发言，一键获取会议讨论文本。
AI还能帮你把碎片化的信息归纳出来，最后为团队生成会议总结和记录。
还能把Zoom平台上获得的客户短信息进行总结，生成具体的执行方案。
而且对于参加不了的会议，还可以在日程表上直接安排AI智能录制，之后分段分重点回看。
而这整个AI伴侣背后，都凝结了Zoom和黄学东联邦AI的技术思路，用合适的AI资源去处理合适的请求。
而且Zoom承诺，不会使用用户的任何音频、视频、聊天、屏幕共享、附件或客户生成的内容（例如投票结果、白板）等其他数据来训练Zoom或第三方的AI。
这么多好用的功能，这么负责的AI，需要花多少钱呢？
150刀到200刀就能用一年，企业用户还有专门的定制版本。
