编辑 | 言征
出品 | 51CTO技术栈（微信号：blog51cto）
1月23日，在冬季达沃斯论坛的“辩论技术”环节，Meta公司副总裁兼首席人工智能科学家Yann Lecun、麻省理工学院媒体实验室主任 Dava Newman、Axios首席技术记者Ina Turpen Fried（主持人）就未来十年前沿科技进行了时长47分钟的“全民”大讨论，话题涵盖了LLM、智能体、消费机器人、脑机接口、跨物种、太空探索，也讨论了非常让Meta敏感的“技术作恶”、审查监管、开闭源之争。观众们更是抓住机会让两位嘉宾抖出了很多猛料。
Lecun表示，现在的大模型并没有达到预期效果，在很多方面都存在不足：“我认为当前 LLM范式的保质期相当短，可能只有3到5年。”他认为理解物理世界的“世界模型”才是未来，但这可能还需要10年左右的时间。
谈及模型存在的偏见问题，Lecun指出，建立一个享有全球共识价值观的世界大模型不太可能，一种可能是世界上每个地区、每个利益集团都可以有自己的数据中心和数据集，并为训练一个全球模型做出贡献。
审查监管方面，Lecun表示，内容政策是公开的，但这并不意味着实施过程没有问题。“现在，我们有机会把它做对。”
提及外太空探索，Dava认为我们需要认识到世界不是以人类为中心的，火星在35亿年前可能就存在过生命。而且生成式生物时代已经来临；对于消费者机器人领域，Dava认为最终机器人会达到一个物理和网络融合的阶段，不再区分硬件和软件。
另外提一点，马斯克一直看好的脑机接口，被Lecun上来直接debuff：非侵入式的还好，钻开大脑这种侵入式的基本没戏。
以下是精彩摘要，各位先行速览：
- Meta也犯过错误，部署了一个系统后才发现它没有按我们预期的方式运行，于是不得不撤回并用其他系统替代。
- 通用人工智能（AGI），这其实是一个误称。
- 我们永远不会通过仅仅处理文本数据来达到人类水平的人工智能。我们需要能够通过感官数据学习世界是如何运作的系统，而不仅仅是通过语言。
- 五年之内，没有一个头脑正常的人会再使用它们，至少不会将其作为 AI 系统的核心组件。我认为我们将看到 AI 架构的新范式的出现，它可能没有当前 AI 系统的局限性。
- 我们没有能够做到猫能做到的事情的机器人——了解猫的物理世界比我们用人工智能所能做的一切要优越得多。
- 也许未来十年将是机器人的十年，也许我们将拥有足够聪明的人工智能系统来理解现实世界是如何运作的。
- 这就是我们正在研究的——让系统建立世界的心理模型。如果我们的计划成功了，按照我们希望的时间表，三到五年内我们将拥有完全不同范式的系统。他们可能有一定程度的常识。他们可能能够通过观察世界并与之互动来了解世界是如何运转的。
- 我觉得政府里有些人被洗脑了，相信了所谓的“存在风险论”，导致出台了一些实际上适得其反的监管措施。因为这些措施本质上使得开源人工智能引擎的分发变得几乎非法
- 我认为我们需要重新思考：数据从哪里来？透明度在哪里？它是否为我们所有人服务？
- 火星，它可能在35亿年前就存在过生命。所以，我们需要一点谦逊，认识到人类并不是一切的中心。
- 我们已经进入半机械人阶段，人们植入后正在四处走动。
以下是演讲过程全文整理：
Ina（主持人）：
现在科技领域有太多值得讨论的话题了，今天的主题是关于科技的辩论。我不认为科技本身存在“是”或“不是”的辩论。但在过去25年报道硅谷的经历中，我经常听到有人这样说：“科技既可以用于好的方面，也可以用于坏的方面”，这本身是正确的，尤其是那些科技的制造者，他们会说：“它会被用于好的方面或坏的方面，希望好的方面能胜过坏的方面。”但对我来说，这种说法忽视了我们推动、引导和限制科技以使其用于好的方面的责任。
不过，我们稍后会讨论这个话题。这是一个令人激动的时刻，尤其是随着人工智能、机器人技术和所有这些科技的发展。但同时，这也是一个令人担忧的时刻。许多人对这种变化会带来什么感到担忧。好了，关于这个话题，我已经说得够多了。我很高兴今天能和Dava Newman一起，他是麻省理工学院媒体实验室的负责人，还有Yann Lecun，他在Meta领导人工智能研究和其他活动。
Dava，或许你可以先说说你的看法。你有着如此广泛的科技背景，从你在太空领域的经历，到你现在关注的领域，你觉得哪些问题和领域需要我们的关注？你最近在思考什么？谢谢大家，早上好，很高兴和大家在一起。
Dava：
我的思绪通常在太空中，你知道的，思考我们是否会成为一个跨物种的文明，我们是否会在其他地方找到生命。但这并不是我最近真正关注的。我真正思考的是科技以及我们所感受到的颠覆，以及即将到来的、更高级别的颠覆。也许我可以这样描述，现在我认为我们正处于一个科技超级周期，三种技术同时融合。你知道工业革命时，我们一次只引入一种技术，而这次人工智能的出现，它虽然是一个大型语言模型，而且仍然处于起步阶段。在麻省理工学院媒体实验室，我们研究人工智能已经有50年了。现在它已经普及到每个人的手中，成为一个辅助工具。我相信我们会在稍后的辩论中，和我的同事以及这方面的专家深入讨论它。
我想强调的是，关于人工智能和生成式人工智能最重要的事情是，我们为人类设计，以人类为中心，促进人类的繁荣。这是媒体实验室的宗旨。它是否值得信任？它是否负责任？这就是我们的前提。实际上，如果不是这样，我们是不会做的。但请系好安全带，因为火箭发射即将到来。我认为我们很快就会开始讨论生成式生物技术，如果你还没有开始的话。不仅仅是合成生物，而是生成式生物。生物是有机的，所以当人工智能转变为生成式生物（Gen Bio）时，它不再是一个大型语言模型。
实际上，我们现在在媒体实验室正在研究大型自然模型，它正在吸收生物学、遗传学和生物传感器整合在一起。物联网（IoT）已经很有名了，我们称之为“万物互联”，因为物联网不仅用于海洋监测生物多样性，还用于监测陆地、气候、空气和大气等方面。而且从太空测量的气候变量中，超过一半的数据现在都是通过太空测量的。所以，这种技术的旋风，我不知道还能叫它什么，伴随着生成式人工智能（Gen AI）、生物传感器测量一切，最终，我把人类和以人为中心的设计放在中间，并提出一个前置问题：这是否是为人类繁荣和所有生物的繁荣而有意为之的？
Ina：
如果答案是否定的，那么我们的算法就不应该去做这件事。Yann，这是一个很好的切入点，我想听听你的看法：我们如何确保我们能够构建的人工智能是我们真正想要的？你如何专注于在Meta的工作和开发，以确保我们得到的人工智能能够为人类服务？
Yann：
这有两个答案。首先，你要努力让它工作得更好、更可靠。目前我们拥有的生成式人工智能，它还没有达到我们想要的水平，虽然它非常有用，但我们应该推动它，让它更可靠，让它能够适用于更广泛的领域，但它还没有达到我们想要的水平，而且它在很多方面并不可控。所以，我认为在未来3到5年内，我们将看到一种新的AI架构的出现。
那么，当前人工智能系统的局限性是什么？有四个对智能行为至关重要的方面，它们做得并不好。首先是理解物理世界，第二是拥有持久记忆，第三和第四是能够进行推理和复杂规划。而语言模型在这方面真的无能为力。有一些尝试试图在它们的基础上增加一些功能，让它们能够做一点这样的事情，但最终，这必须以不同的方式来完成。所以，在未来几年内，人工智能将迎来另一次革命，我们可能不得不改变它的名字，因为它可能不再是我们今天所理解的生成式人工智能。所以，这是第一点。有些人对它有不同的称呼。
因此，我们今天拥有的技术，大型语言模型，在处理离散世界方面表现得很好，而语言是离散的。我无意冒犯在场的Stephen Pinker，但语言在某种程度上比理解现实世界简单得多，这也是为什么我们拥有的人工智能系统能够通过律师资格考试、解决方程等，做些令人惊叹的事情。但我们还没有能够像猫一样行动的机器人。猫对物理世界的理解远远优于我们用人工智能所能做到的一切。这告诉你物理世界比人类语言复杂得多。
而语言为什么简单？因为它是离散的对象，DNA和蛋白质也是如此，它们是离散的。因此，将这些生成式方法应用于这类数据取得了巨大的成功，因为在一个离散的世界里进行预测是很容易的。你可以预测在特定文本之后可能出现的单词，但你可以为字典中所有可能的单词生成一个概率分布，因为它们的数量是有限的。如果你想将同样的原则应用于理解物理世界，你将不得不训练一个系统来预测视频。
例如，向系统展示一个视频，要求你预测接下来会发生什么，这被证明是一个完全无法解决的任务。所以，用于大型语言模型的技术并不适用于视频预测，所以我们必须使用新技术，这正是我们在Meta所研究的。但可能需要几年时间才能实现。
所以，这是第一点。一旦实现，它将为人工智能开辟一个全新的应用领域，因为我们将拥有能够推理和规划的系统，因为它们将拥有某种世界模型，而目前的系统并没有。所以，它们将能够预测其行为的后果，并规划一系列行动以实现特定目标，这可能为真正的代理系统打开大门。
我们在谈论自主型人工智能，但没有人知道如何正确地去做它，这也可以应用于机器人技术。所以，未来十年可能是机器人的十年。这是第一个答案。
第二个答案更简短一些：确保人工智能被正确应用的方法是为人们提供工具，让他们能够构建多样化的人工智能系统和助手，这些工具能够理解世界上所有的语言、文化、价值观等。这只能通过开源平台来实现。我坚信，随着人工智能行业和生态系统的不断发展，开源基础模型将主导专有系统，它们将成为整个行业的基础，至少在某种程度上已经如此。它们将促进真正多样化的人工智能系统的发展，我认为这是至关重要的。因为在几年内，你和我都会戴上智能眼镜，对吧？你可以与人工智能助手交谈，向它提问。但很快，我们会有越来越多的东西带有显示屏，所有的一切。我们的所有数字消费都将由人工智能助手介导。所以，如果我们只能接触到来自美国西海岸或中国少数几家公司的三四个助手，这对文化多样性、民主等都是不利的。因此，我们需要一个非常多样化的人工智能系统，而这一切只能通过开源来实现，这也是Meta一直在推动的。
Ina：
好的，谢谢你们两位。我认为这为讨论奠定了良好的基础，并且提醒一下，这不是小组讨论，而是一场市民大会。
首先，我们问了直播观众一个问题，他们可以通过Slido平台参与进来。我们也问了大家，希望这些新兴技术如何为未来做出贡献。我们不会展示所有的回答，但这里有一个词云，显示了大家提到的一些内容。
我们可以快速看一下……嗯，这是问题。我不太确定我们如何得出答案。新技术就像一块白板，对吧？我相信大家一定讨论了很多他们术既感到兴奋又感到担忧的地方。我想请大家准备好问题，我相信房间里每个人都有要问的问题。
Yann，我想继续刚才关于开源的问题，因为这确实是一个很大的争论。正如我所说，技术本身并不是争论的焦点，而是我们采取的方法。开源确实有你提到的所有优势，它可以让世界各地的人参与进来。只有少数人能够训练这些巨大的模型，但很多人都可以利用它们，并同时做出贡献。然而，真正令人担忧的是，将这种强大的技术交给世界，并说“基本上，这是我们的可接受使用政策，这是你可以做和不能做的事情”，但老实说，一旦它被发布出去，就很难再加以管控了。我们如何确保某件事情既开源又安全呢？
Yann：
所以，我们在Meta所做的是，当我们分发一个模型时，顺便说一下，我们说开源，但从技术上讲，这些模型并不是真正的开源，因为模型的源代码是可用的，模型的权重也是免费提供的，你可以用它们做任何你想做的事情，除了那些限制条款。不要用它来做危险的事情。所以，我们所做的是对这些系统进行微调，并进行红队测试，以确保至少在第一阶段，它们不会产生无意义的或有毒的答案之类的东西，但这种方法的效果是有限的。这些系统可能会被绕过。你可以通过所谓的提示注入攻击，将系统带出其被微调的领域，然后你就会得到一些奇怪的东西，这取决于模型的预训练数据是什么，当然，这是一个高质量数据和不太高质量数据的组合。
Ina：
那么，Dava你对这种开源方式的看法是什么？显然，这种方式有好处，麻省理工学院是开源的先锋，甚至有一个MIT开源许可，我甚至不记得它是否就是Meta所使用的许可。但当你谈到让技术以人为本，把人类的需求和关切放在首位时，你认为需要做些什么呢？你提到了合成生物学，显然还有很多被忽视的疾病，我们希望用这些新技术来解决，但我们不希望每个人都在家里开发新的微生物并到处传播。那么，你对如何让这种技术广泛可用但仍然安全有什么看法呢？
Dava：
是的，这是一个问题，同时我也看到了大家的担忧。关于人工智能在太空中的应用，我同意这一点，我们可以稍后讨论词云。所以，基于开源平台，但要设置一些限制，我们所有人都需要承担责任。现在，我们可以问一下观众，人工智能是否对你有用？我的意思是，你是否信任它？它是否负责任？它是否代表了你？你认为它的训练数据是否能很好地代表你？
让我们问一下观众，有多少人觉得它安全、可靠，并且你愿意今天就去使用它？在辩论期间，有人愿意举手吗？我想这就是答案。
我认为问题不在于有多少人愿意开放地接受人工智能，或者一旦他们觉得它安全可靠就愿意去使用它，而是它还没有达到那个程度。它并不具有代表性，不能代表这个房间里每个人的观点，更不用说整个世界了，因为世界比我们在这个房间里看到的要多样化得多。
所以，这也许就是辩论的起点。我们希望开源，希望所有的学生都能成为超级明星和天才，希望下一代人都能发挥他们的创造力和好奇心，因为这就是人类繁荣的方式。
但如果我们只是让算法自行其是，我认为我们需要重新思考：数据从哪里来？透明度在哪里？它是否为我们所有人服务？如果这些问题能够得到很好的回答，我相信大多数人会选择加入，并且希望让事情变得更好。开源的目的是为了汇聚所有好的想法，让技术为每个人服务。但我觉得我们在这里需要非常明确地指出：透明度在哪里？信任在哪里？它是否已经脱离了我们的掌控？这些都是非常重要的问题。而开源的原因在于，你可以汇聚所有的好想法并加以改进。
Ina：
Yann，我想再追问你一个问题，然后我真的希望你们都准备好问题，因为接下来我会转向你们。我想再追问一个领域，那就是价值观。
我去年写过关于这个话题的文章，社交媒体一直围绕内容审核展开——允许什么样的言论，以及如何划定界限。显然，Meta在这方面投入了大量时间，也尝试了不同的方法。但在我看来，这些人工智能系统将不得不具备价值观。你的个人电脑并没有一套价值观，你的智能手机也不会进行内容审核。但在极端情况下，人工智能系统需要回答一些棘手的问题。
在一个世界中，中东地区的人们与美国人的价值观不同，美国不同地区的人们价值观也不同。最近，Meta对其内容审核政策进行了多项调整，允许更多可能被认为非常冒犯性、令人反感甚至去人性化的言论。
那么，科技公司在价值观方面的作用是什么？政府会施加多大的压力来控制人工智能聊天机器人对性别、性取向、人权等问题的回答？
Yann：
这是一个有趣的话题，尽管这并非我的专业领域，但仍然很有趣。Meta在内容审核方面经历了几个阶段，包括不仅针对有毒内容，还有虚假信息，这是一个更难处理的问题。直到2017年，检测社交网络上的仇恨言论还非常困难，因为技术尚未成熟。依靠用户标记不当内容，然后由人工进行审核，这种方法无法扩展，尤其是如果需要这些人工审核员掌握世界上每一种语言。
然后，自然语言理解领域取得了巨大进步，从2017年开始，这一领域取得了巨大的进展。如今，检测世界上每一种语言的仇恨言论在一定程度上是可行的。例如，2017年底，大约20%到25%的仇恨言论是通过人工智能系统自动删除的。五年后的今天，由于有了Transformer、监督学习以及我们今天为之兴奋的所有技术，这一比例达到了96%。
这可能走得太远了，因为被误删除的良好内容数量可能相当高。
在一些国家，人们彼此之间存在敌意，你可能需要将检测阈值调低，以避免冲突。而在一些国家，选举期间可能会引发紧张局势，你也会希望降低检测阈值，以便删除更多内容以平息局势。但大多数时候，你希望人们能够就重要的社会问题展开辩论，包括那些极具争议性的问题，比如性别和政治观点等极端问题。
所以，公司最近意识到它可能走得太远了，出现了太多误报。现在，检测阈值将被调整，以允许就社会的重大问题展开讨论，即使这些话题可能对某些人来说是冒犯性的。这是一个重大变化，但这并不意味着内容审核将消失，只是调整了阈值。
当然，不同国家的答案也不同。在欧洲，仇恨言论是非法的，宣传也是非法的。你出于法律原因必须进行内容审核，而在美国和一些其他国家，标准则不同。
然后还有虚假信息的问题。直到现在，Meta一直依赖事实核查组织来核查那些引起广泛关注的帖子。但事实证明，这个系统并不奏效，它无法扩展。这些组织数量有限，员工也很少，因此无法揭穿在社交网络上流传的每一个危险的虚假信息。
所以，目前正在实施的系统是，让人们自己对有争议的帖子进行评论。这可能会有更好的覆盖效果。一些研究表明，这是一种更好的内容审核方式，特别是如果你有一个类似“积分”系统，那些发表可靠评论或者受他人喜欢的人，他们的评论会被提升。许多论坛多年来一直在使用这种系统。所以，对于Meta来说，我们希望这能真正奏效。它还有一个很大的优势，那就是Meta从未认为自己有资格决定什么是社会的对与错。
在过去，Meta曾要求各国政府来规范社交媒体上可接受的内容，这发生在特朗普政府时期。当时，我们问美国政府，什么内容是在线讨论中可以接受的，结果却石沉大海，没有得到任何回应。我想法国政府可能有一些讨论，但当时的特朗普政府却说：“第一修正案在这里，你们自己看着办吧。”因此，所有这些政策都是由于缺乏监管环境而产生的。现在，内容审核变成了“人民的内容审核”，我们还可以深入讨论很多，但我也不想偏离主题。
如果能回到价值观的问题上，我认为这是正确的问题。我们首先需要明确价值观是什么，领导者必须能够清晰地表达价值观。对我来说，我的价值观是正直、卓越、好奇心，以及社区——社区包括归属感和协作。如果我们能够表达这些价值观，那么作为设计师、建造者和技术人员，我们就可以从这些价值观出发，做出正确的选择。如果我们做对了，我认为我们需要退一步，明确我们的价值观是否一致，然后我们才能合作，共同尊重我们文化上的差异，以及人类的多样性。这是非常美好的，这也是跨文化合作的机遇。但从根本上说，我们仍然需要讨论价值观，我们是否共享价值观，这是我认为的核心问题。
从这个意义上说，内容政策是公开的，但这只是第一步。接下来是实施。Meta也犯过错误，部署了一个系统后才发现它没有按我们预期的方式运行，于是不得不撤回并用其他系统替代。这是一个不断调整的过程。但你可以引领行业，积极地参与这场讨论。从所有指标来看，Meta在内容审核方面绝对是领先的。
Ina：
那么，我的问题是，你对新政策有什么看法？显然，很难说什么是共同的价值观，即使在美国国内也有很多争论。我们谈到了以人为中心的世界，而新政策显然允许了很多去人性化的言论，比如将女性比作物品，或者对跨性别者、精神疾病患者等群体的不当言论。他们是否找到了平衡，还是说这些政策并不合适？
Dava：
绝对没有，绝对没有。我们知道什么是错误的，我们了解人类行为，我们知道什么是文明的，我们知道什么能让人感到快乐。当我们教育孩子时，我们也应该看看我们的孩子和年轻一代，尤其是当我们谈论价值观和我们所拥有的东西，以及我们希望成为什么样的人时。
当然，这些价值观需要被表达出来。从这个意义上说，内容政策是公开的，但这并不意味着实施过程没有问题。我们有机会做对。但你知道，我们已经进行了实验，互联网一代、互联网二代，现在是机会做对的时候了。
Ina：
我想邀请观众加入我们的讨论，如果你有话要说，请先报上你的名字和来自哪里。麦克风正在传过来，但请简短介绍自己后直接提问。
观众：
我是来自印度班加罗尔的Mukesh。你们的团队处于人工智能研究的前沿，世界上也有许多其他团队也是如此。我们是否知道我们正走向何方？有没有一个关于五年后的心理模型？因为我们都在猜测和讨论人工智能的现状和挑战，等等。我们是否足够了解我们正走向何方，能否对五年后做出一些预测，还是说这只是一个未知数？
Yann：
我不能声称我了解其他人正在做什么，尤其是那些不公开研究的团队。但我从我所看到的情况来看，我认为当前的大型语言模型范式的使用寿命相当短，可能只有3到5年。我认为在五年内，没有人会再使用它们，至少不会将它们作为人工智能系统的核心组件。
它们可能具有一些常识，能够通过观察世界来学习世界是如何运作的，并与之互动，处理现实世界的问题，而不仅仅是离散世界的问题，这将为新的应用打开大门。
让我给你做一个非常有趣的计算：一个典型的大型语言模型，比如拥有20万亿或30万亿个token的基础模型。一个token通常包含3个字节，所以这大约是10的14次方字节。我们将其四舍五入，这基本上涵盖了互联网上所有公开可用的文本。一个人类需要10万年才能读完这些内容。
现在，让我们将这个与一个4岁孩子在4年生活中所看到的内容进行比较。你可以计算出视觉皮层或通过触觉（如果是盲人的话）所接收到的信息量，大约是每秒2MB，每根视神经大约是每秒1MB，每根视神经纤维大约是每秒1字节。我们每只眼睛有100万根视神经纤维。将这个乘以4年。一个人类孩子在4年中清醒的时间总共是16000小时。计算一下这有多少字节，大约是10的14次方。
这告诉我们，我们永远不会通过仅仅处理文本数据来达到人类水平的人工智能，有些人称之为通用人工智能（AGI），但这其实是一个误称。我们永远不会通过仅仅处理文本数据来达到人类水平的人工智能。我们需要能够通过感官数据学习世界是如何运作的系统，而不仅仅是通过语言。
Dava：
我们永远不会达到人类水平的人工智能，因为人类的输入是多感官的。你戴上眼镜后，你看到的是文字，但我们还有触觉、听觉、嗅觉等。今天早上，你闻到的第一件事物是什么？可能是咖啡的香味。这些多感官能力对于人类来说至关重要。我想明确一点，我们谈论的是人类的繁荣，以及所有生命的繁荣。我们可以选择我们的方向，我们可以选择我们为谁设计。
这是一个问题，我们在这个星球上待了多久？地球不需要我们，你知道吗？地球已经有45亿年的历史了，我们还有一个姐妹星球——火星，它可能在35亿年前就存在过生命。所以，我们需要一点谦逊，认识到人类并不是一切的中心。地球可以没有人类而继续存在，我们可能只是个麻烦，一个很大的麻烦。所以，地球不需要我们，但我们需要地球。问题是，我们是否希望与地球和谐共存？我们是否希望过上最好的生活并实现繁荣？然后，你就会从不同的角度去思考解决方案。
Ina：
你从不同的角度去思考问题。我想我听到那边有人想发言。我看到有人举手了。好的，麦克风正在传过去。因为我们在直播，所以请先介绍自己。
观众：
Moris Band，来自Light Speed，向Dava提问。刚才你谈到人工智能，谈到人类生命，我很高兴你在努力让人类成为多星球物种。那么，人工智能在这种更广泛的需求中处于什么位置呢？你认为它是存在的威胁吗？还是说它是一种增强人类存在的技术？例如，生成式生物技术是不是我们的“大过滤器”？
Dava：
谢谢你的问题。我认为人类才是威胁，而不是 AI或算法。当我们谈论太空中寻找生命时，AI 是一个巨大的帮助。所以，当你提到 AI 没有什么用处时，这有点像说技术本身没有用处。我们需要更具体地讨论。
当我们谈论太空探索时，人类在地球上，我们发送探测器和科学仪器，这与自主机器人和自主系统有很大关系，而不是人类在这里获取信息，而是那个信息感知和探索的循环。但这些都是我们将要发送的自主机器人和系统。当我们发送人类时，我们会带着自己的超级计算机，所以第一次载人火星任务将超越我们目前50年在火星上的探索。这就是人类或人类智慧的优势。
但这是一个很好的问题，它既是一种威胁，也是一种优势，我们可以利用它来增强能力，进行搜索和探索。比如，我可以专注于寻找生物标志的证据或在其他地方寻找生命。不过当我们专注于任务时，要非常透明地说明你如何使用算法和人工智能。我们总是引入一些在大多数基础模型开发中非常缺乏的东西。
你深入到更基础的模型，具体到健康、气候或探索等个性化能力时，你必须引入物理学。如果你只是让事情按照数学和统计学的方式发展，看看我们现在所处的位置，虽然这非常棒，但我是一个坚定的生物模仿论者，我试图理解自然，试图理解生命系统，总是将基础物理学与数学结合起来。所以，要沿着这条道路继续前进。
Ina：
所以，当我们继续这里的讨论时，我也邀请在线的观众参与。我们有一个问题想问大家：关于我们正在讨论的技术，什么让你感到兴奋？什么让你感到担忧？我们可以通过 Slido 再做一个词云分析。如果你正在在线观看，请在那里分享你的想法。
我们还有一个问题，正在传麦克风过来。这位是Martina Hirayama，瑞士教育、研究与创新国务秘书。
观众：
我的问题提给Dava。你谈到人工智能的价值观，我们在获取人工智能方面存在分歧，那么，如果我们考虑到我们在地球上生活的所有地区，甚至还没有谈到太空，我们并没有共享相同的价值观，这将对AI的发展产生什么影响呢？
Dava：
是的，我认为这是非常基础的问题。我列出的五六个价值观，我希望能就当中的两到三个价值观达成共识。你可能不会同意整个清单，但我认为我们必须寻找共识和共享的价值观，然后共同努力。如果做不到，那么也许这就是威胁、分裂和毁灭的场景。我不希望走这条路，我认为我们有另一条路可走。所以，我认为艰巨的工作是努力让人与人之间、政策与政策之间达成共识，看看我们是否能够就某些未来场景达成一致。如果能够达成一些共识，我们可以进行投票，看看在这个多元化的环境中我们是否能够找到共同点。所以，这不是一个答案，而是讨论的一部分：我们能共享什么，如何找到共同点，并以此为基础去正确地构建系统。
Ina：
Yann，这是构建这些系统的挑战，因为世界上存在如此多的分歧。我希望我们至少能在一些基本问题上达成一致，尽管看起来很难达成。我知道你提到过使用联邦学习，以确保世界上各种文化都能在这些模型中得到体现。但当人工智能系统不仅仅是用来审核内容，而是要创造内容时，我们该如何为一个充满分歧的世界构建系统呢？
Yann：
我认为答案在于多样性。如果你有两三个都来自同一个地方的人工智能系统，你就无法获得多样性。获得多样性的唯一方法是拥有能够涵盖世界上所有语言、文化和观点的系统，这些是基础模型，然后它们可以由大量不同的人进行微调，这些人对什么是好的价值观有不同的看法。然后人们可以选择。这和拥有一个多样化的媒体一样，你需要媒体中有不同的观点，至少这是民主的基本要素。对于人工智能系统来说也是如此，你需要它们是多样化的。
让一个单一实体去训练一个包含世界上所有文化数据的基础模型是非常困难的，这可能最终需要以联邦或分布式的方式完成。所以，一种方法是，世界上每个地区、每个利益集团都可以有自己的数据中心和数据集，并为训练一个全球模型做出贡献。这个全球模型最终可能成为人类所有知识的存储库。
Ina:
我看到有人举手了，等麦克风传过来，谢谢。
Dava:
我觉得联邦学习这种方式更令人兴奋，因为它更透明，也更定制化、更个性化。它可以根据具体的工作目标，比如医学或健康领域，甚至更具体的目标，比如乳腺癌研究，提供更精确的解决方案。对我来说，这非常令人兴奋。
观众:
嗨，我是 Mukta Joshi，来自伦敦。我昨天听了一个小组讨论，他们提到了一个让我感到震惊的概念，我回去做了一些研究。这个概念叫做“对齐伪装”（alignment faking），即大型语言模型给出的答案似乎是在伪装与提问者的的意图对齐。这可能是一个在过去几个月里发生的实验，但我认为这是一个非常令人震惊的现象，我想听听你对这个问题的看法。
Yann:
我对这个问题有一个可能有点争议的看法，那就是在某种程度上，大型语言模型本质上是不安全的，因为它们是不可控的。你没有直接的方法来控制它们输出的内容是否符合某些特性。至于护栏（guardrails），唯一的办法是通过训练来实现，但这种训练可能会因为超出它们被训练的领域而被破坏。所以，从某种程度上说，它们是不安全的。
但这并不特别危险，因为它们也不够聪明。它们是有用的，但从智力上来说，它们更像是智能助手。你知道，如果它们生成的文本中有错误，你需要去检查并纠正一些错误。这有点像汽车的驾驶辅助系统，我们还没有完全自动驾驶的汽车，但我们有驾驶辅助系统，它运行得很好。
同样的，我们不应该过度解读大型语言模型的能力，好像它们能够伪装意图——它们根本没有任何意图，也没有价值观。就像我说的，它们不会和我们在一起超过五年，我们会拥有更好的系统，这些系统是目标驱动的，它们的输出将通过推理产生，而这种推理将保证输出的内容符合某些护栏。这些系统将无法被“越狱”，因为这些护栏将被硬编码进去，所以通过改变提示（prompt）来破解它们是不可能的。
Ina：
所以，鉴于 Yan 刚才所说的话，今年的热门话题是“代理”（agents），并赋予这些大型语言模型更多的自主性。
考虑到Yan提到的它们的局限性，而Meta这家公司正在开发这样的技术，我们是否应该担心赋予一个没有价值观、会犯错误的系统更多的自主性和代理权呢？
Dava我认为不需要担心，我同意Yan说的，这些模型并不聪明，它们没有理性，也没有意图。它们只是缺乏思考能力，你可以把它们看作是数学和统计学的概率模型。所以，我们更关心的是人类的判断力。问题是，这听起来似乎很令人警惕，因为任何类型的伪装都是令人担忧的。那么，我们该怎么办呢？
因为代理（agents）正在变得越来越强大。我不知道是否有解决方案，但有一些简单的想法可以尝试。比如，我们可以用版权之类的东西。如果每次我们使用生成式模型时，都能有一个水印，为什么我们不给生成的内容添加水印，让用户知道它是否来自算法呢？只是简单地标注一下，让用户知道他们看到的内容是生成式的，这会很有帮助。如果这些内容被提供给某人，他们可以自己判断。
我想从另一个角度来讨论这个问题。我发表过一篇关于“如何通过机器学习解锁创造力”的论文。这种生成能力可以帮助我们进行头脑风暴，生成一些想法。对我来说，生成图像比生成文本更有用，因为图像与人类大脑的映射几乎完美，我们在视觉方面非常擅长。所以，当你说出一个句子，比如“那是什么图像？”时，我们可以进行一场很好的讨论，这将帮助我们更有创造力，有更多的讨论。如果它只是作为一个提示，那么它就是一个工具。然而它真的是一个助手，帮助我们进行对话或辩论。我认为它确实应该被标记，我们必须知道它来自哪里，必须知道配方中的成分。
Ina：
很难相信我们只剩下几分钟了，我想给每个人一个机会，说说我们还没有谈到的、但应该讨论的话题，也许明年我们会谈到。
Yann：
好的，按照我们这里的名单，首先是让你最兴奋的技术——脑机接口（brain-computer interface）。别想了，这不会很快发生，至少那种侵入式的、Neuralink正在研究的类型不会。非侵入式的，比如M公司正在研究的脑电图手环，是的，今年会有一些进展，这确实令人兴奋。但像钻开大脑这种事，除非是出于临床目的，否则不会。
嗯，游戏、虚拟世界、元宇宙，Meta 当然在这个领域非常活跃，比如在元宇宙探索方面。你是这方面的专家，这也很令人兴奋。
监管，这是一个非常有趣的话题。我觉得政府里有些人被洗脑了，相信了所谓的“存在风险论”，导致出台了一些实际上适得其反的监管措施。因为这些措施本质上使得开源人工智能引擎的分发变得几乎非法。在我看来，这比其他所有潜在的危险都要危险得多。
正如我之前提到的，消费者机器人领域或许在未来十年会迎来大发展，因为我们可能会拥有足够智能的人工智能系统，能够理解现实世界是如何运作的。
在之前的云计算领域，我们看到了效率和能耗方面的提升。现在，整个行业有巨大的动力和激励去让人工智能系统更加高效，所以你不用担心人们没有足够的动力去实现这一点。运行人工智能系统的主要成本就是能耗，所以在这方面有大量的工作要做。但技术就是技术。
Ina：
谢谢，Dava，我们还有一分钟，进入快速问答环节。
Dava：
我来回答三个问题。嗯，我礼貌地拒绝大脑计算机接口的话题，不，它并不是不存在，它正在发生。
我们已经有了数字中枢神经系统，尤其是在突破性技术领域，尤其是在假肢替代方面。比如半人半机器人的新机械腿，你可以摆脱幻肢的感觉，因为大脑实际上是在控制机器人，所以它正在发生。我们已经进入半机械人阶段，人们植入后正在四处走动。希望未来能让截瘫患者，甚至四肢瘫痪患者受益，大脑控制着数字中枢神经系统，大脑非常强大。所以，关于手术，我很乐意讨论这个话题，但这不是未来，这是现在。
在科学方面，我们之前也稍微提到了太空探索。寻找生命，为什么要去外太空探索，因为它告诉我们，这不是选项B。抱歉，埃隆，这不是选项B，而是为了人类的繁荣，让我们一起珍惜我们的人性和地球上的一切，并与地球和谐共处。但这仍然是必要的，因为当我们为太空、月球、火星、欧罗巴快船等太阳系的极端环境，甚至是系外行星设计技术时，它推动了技术的发展，让我们在技术领域保持敏锐和领先。我对未来十年找到生命或过去生命迹象的证据非常乐观。
然后是消费者机器人领域。但如果只是硬件、软件，机器人应该被视为一个整体的物理系统。现在，机器人就是人工智能，它们是算法，是软件。我们最终会达到一个物理和网络融合的阶段，不再区分硬件和软件，而是直接谈论机器人或机器本身，它们嵌入了软件。
我最喜欢的用例是医疗领域，比如推动个性化医疗，而不是一味地购买更多东西、消费更多。而是回到开源，让每个人都能自己动手制作、使用，从所有回收材料中去获取。这就是新的机器人，未来的物理网络系统。当然它们会交给我们的下一代手中，他们会用它做一些非常奇妙的事情。
Ina：
好吧，这是一个很好的结束点。我们不得不在这里结束。非常感谢麻省理工学院的 Dava Newman、Meta 的 Yann Lecun，以及在场的每一个人，感谢大家的加入。
