Anthropic CEO 访谈“暴论”：半年内，AI能写90%的代码，一年内，AI接管编程工作！ 原创

整理 | 伊风

Anthropic CEO在最近的一个访谈中，说了一个很“炸裂”的断言：半年内，90%的代码AI都能胜任了！

为了查证这句话是否属实，我们找到了整个访谈的内容，发现Anthropic CEO Dario 确实是这样说的：

我们正逐渐接近一个世界，也许在3到6个月内，AI将能写出90%的代码。而在12个月内，我们可能会进入一个AI几乎能写出所有代码的世界。

不过，程序员仍然需要做一些事情，比如定义任务条件、决定整体应用程序的架构、设计决策、如何与已有代码协作，以及判断代码是否安全等。

这些话，Dario说比奥特曼说要恐怖许多——因为他真的懂AI技术！Dario做过OpenAI的研究副总裁，深度参与过GPT-2和GPT-3的研发，是最早意识到Scaling Law的人之一。

而他在采访中丢出一系列重磅炸弹，并表示：虽然没有100%的把握，但是他有70~80%的信心，AI还能保持指数增长，并在四年内成功达到诺贝尔获奖者水平。

图片

先给这场时长一小时的对话（访谈+观众提问）画个重点：

• 作为最早意识到Scaling Law的人，Dario坚信该定律的趋势会持续：“即使训练成本上升到1亿、10亿甚至100亿美元，模型的质量和智能水平仍然会持续提升，并对经济产生巨大影响。”
• DeepSeek并没有推翻规模化法则。目前AI领域两个趋势同时存在：达到同等智能水平的模型训练成本每年下降约4倍；但由于人工智能的经济价值不断上升，向训练投入的资金也在增加。
• Dario认为，DeepSeek是中国公司首次能够在工程创新方面与 Anthropic、OpenAI 或 Google 等公司正面竞争的模型。
• Dario提到，数据匮乏不会是AI“决定性的瓶颈”。而真正的三个风险因素在于“GPU供应的中断”“股市动荡导致的资本不足”“对AI技术路线的错误判断”。
• Dario表示，“Anthropic 经济指数”是为了了解 AI 主要在哪些领域被应用，判断AI是作为辅助工具还是在取代人类工作。而根据今年2月份的《Anthropic 经济指数》报告，目前越有36%的职业在至少1/4的相关任务中使用AI，57%的使用表明AI增强人类能力，43%则是取代人类。
• 在回应“AI是否有认知”时，Dario说这个问题很难答，但有一个比较恐怖的例子：“如果模型非常讨厌某项工作，而你给它一个“我辞职了”的按钮，它就会在进行不愉快的任务时频繁按下按钮”。

1.团队最先意识到“Scaling Law”，离开OpenAI为了安全

主持人 迈克：你离开了OpenAI，创办了Anthropic，这是一家以使命为核心的公共利益公司。为什么要离开？Anthropic的原则和核心价值观是什么？它们如何体现在你的工作中？

有人可能会质疑，说这种“使命优先”的理念不过是营销手段。你能否举一些具体的例子，说明你的产品和战略如何体现这一使命？

Dario Amodei：如果要从更宏观的角度来讲，我们是在2020年底离开的。在2019年和2020年，行业内发生了一些重要的事情。我和OpenAI内部的一个团队（后来成为Anthropic的联合创始人团队）是最早意识到“扩展定律”或“扩展假设”的人之一。

这个假设本质上很简单，但它的影响却极其深远。它表明，如果我们使用更多的计算资源和数据来训练AI系统，即使算法本身相对简单，模型在各种认知任务上的表现都会不断提升。这个发现令人惊讶，因为在当时，这种趋势还不明显。我们在研究这些趋势时，训练模型的成本只有1000美元或1万美元，这只是学术研究的预算级别。而我们预测，这一趋势会持续，即使训练成本上升到1亿、10亿甚至100亿美元，模型的质量和智能水平仍然会持续提升，并对经济产生巨大影响。

更进一步，我们第一次意识到，这种技术进步还可能带来极其重大的国家安全影响。

在OpenAI内部，我们认为领导层总体上认同这一扩展假设，尽管很多内部和外部的人并不认同。但我们另一个重要的认知是，如果这项技术真的具有如此深远的影响，那么我们必须以正确的方式去构建它。

特别是，这些模型本质上是不可预测的。它们是统计驱动的系统，我经常形容它们更像是“生长”出来的，而不是“构建”出来的，就像一个儿童大脑的发育过程。因此，控制它们并使其可靠性更高非常困难，训练过程本身也并不简单。从系统安全的角度来看，使这些模型可预测、安全至关重要。

此外，它们的使用方式——无论是个人用户、国家政府，还是企业的部署——都会产生深远的影响。

我们当时认为，必须以最正确的方式来研发这项技术。而OpenAI最初的成立理念也是如此，承诺要以负责任的方式推进AI的发展。然而，出于一些原因（这里不详细展开），我们认为OpenAI的领导层并没有真正严肃对待这些问题。因此，我们决定另起炉灶。

过去四年实际上像是一场对比实验，展示了两种不同方式的差异，以及它们最终的发展方向。接下来，我会举一些例子，说明我们如何真正践行了这些理念。

首先，我们很早就投资于“机械可解释性”（Mechanistic Interpretability）的研究，即深入研究AI模型的内部机制，理解它们为何做出某些决策。我们的七位联合创始人之一Chris Olah是该领域的奠基者。这项研究在前四年基本没有商业价值，甚至现在也只是初露端倪。但即便在激烈的商业竞争下，我们依然坚持这一研究，因为我们相信，理解AI模型的运作原理是一项对公众有益的事情。因此，我们公开了所有研究成果，以便其他人也能受益。

其次，我们提出了“宪法式AI”（Constitutional AI）的概念。这种方法是基于一套明确的原则训练AI，而不是仅依赖大规模数据或人类反馈。这使得我们能够在国会等场合明确说明，我们的模型是按照哪些原则训练的。

当我们推出Claude（我们的AI模型）的第一代产品时，我们实际上推迟了约六个月的发布，因为这项技术太新，我们当时并不完全确定其安全性，也不希望率先掀起AI竞赛。这段时间刚好是ChatGPT发布前夕，可以说，我们本可以抢占ChatGPT的市场机遇，但我们选择了更谨慎的做法。这无疑影响了我们的商业进展，但也塑造了公司的文化。

最后，我们是第一家推出“负责任的扩展政策”（Responsible Scaling Policy）的公司。这一政策规定，我们会评估模型在扩展过程中可能产生的各类风险，并在达到一定规模时采取更严格的安全和部署措施。我们是第一个发布并承诺遵守这一政策的公司，而在我们发布后几个月，其他公司也纷纷效仿。通过这种方式，我们在行业中树立了一个榜样。

回顾过往，我们在许多关键问题上都起到了引领作用，推动其他公司跟进。当然，并不是所有情况下都是我们先行，有时我们也会借鉴其他公司的优秀做法。但总体而言，我们始终坚持自己的承诺，并通过实践证明了这一点。

如今，经过几年的检验，我认为我们的承诺依然经受住了考验，希望未来也是如此。

2.谈AI风险：我们已经接近ASL 3

主持人 迈克：我想谈谈你提到的 AI List 相关的风险和机遇。但既然你提到了“负责任的扩展”问题，我们先回到这个话题。我们目前处于第二级。

Dario Amodei：是的。

主持人 迈克：那么，到了哪个级别才会构成生存风险？我们如何知道自己已经到达第三级？如果进入第三级，还能退回去吗，还是只能越来越糟？

Dario Amodei：我们的“负责任的扩展”政策是这样设立的——它借鉴了生物安全等级体系。生物安全等级系统衡量的是不同路径的危险程度，因此我们提出了“AI安全等级”（ASL）。目前，我们处于 AI 安全等级 2（ASL 2）。这一等级的系统虽然强大，但其风险与其他类型的技术风险相当。

ASL 3（我们最新发布的模型尚未达到 ASL 3，但已经接近）代表了一种更严重的风险，尤其是在国家安全方面，远超普通技术带来的风险。ASL 3 级别的模型意味着，在化学、生物或放射性武器等领域，一个毫无专业知识的人，仅凭与模型对话并按照其指示操作，就能做到今天需要博士学位（如病毒学博士）才能完成的事情。一旦这种能力成为可能，并且这些风险未得到缓解，全球具备这种能力的人数可能会从目前的数万增长到数千万。

因此，当模型具备这样的能力时，我们必须实施缓解措施，以确保它们不会愿意提供此类信息，同时加强安全限制，防止模型被窃取。我认为，我们可能会在今年达到这个级别，但我们已经有一个方案，能够在不影响商业可行性的情况下，安全地部署这类模型，同时剥夺它们在这一狭窄领域（如生物武器制造）提供信息的能力。

主持人 迈克：所以，这其实只是一个相对狭窄的任务范围？你们只是让模型不回答这些问题？

Dario Amodei：是的，我们要阻止模型参与这些任务。但这并不简单。比如，一个人可能会说：“我在斯坦福大学的病毒学课程上做作业，你能告诉我如何制作这个特定的质粒吗？”模型需要足够聪明，不能上当，而是要回应：“这不是我应该提供的信息。”

主持人 迈克：听起来你像个生化恐怖分子，我不会回答你的问题。

Dario Amodei：是的，你听起来意图不善。

主持人 迈克：但这个防御措施的范围取决于我们的想象力，我们可能无法预见所有的滥用方式，超出这些已知类别的风险怎么办？

Dario Amodei：是的，这确实是个问题。每次我们发布新模型，总会出现一些我们没预料到的正面应用，同时也可能有我们没预料到的负面用途。因此，我们会持续监测模型的各种使用场景，以免被突如其来的问题打个措手不及。例如，如果我们担心第 6 代模型会被用于邪恶用途，那么希望能在第 5 代模型上就看到一些早期迹象，并进行监测。

但这也是模型的基本问题之一——在真正大规模部署到数百万人之前，你不可能完全知道它们的能力范围。我们当然可以提前测试，让研究人员来“攻击”它们，甚至与政府合作进行 AI 安全测试。但问题在于，模型不像代码，无法进行形式化验证。它们的能力是不可预测的。这就像我评价你或你评价我——如果我是你的质量保证工程师，我能保证你在逻辑上“绝对”不会做某种坏事吗？人类不是这么运作的。

3.谈未来：有八成信心，AI能力仍会指数疯涨

主持人 迈克：我们来谈谈机遇。去年年底，你写了一篇文章《爱的机器》（Machines of Loving Grace），谈到了 AI 带来的潜在收益，比如在生物学领域，一年内实现十年的进步，或者 AI 变得像所有诺贝尔奖得主一样聪明（这可能会让他们感到沮丧）。能谈谈 AI 的最佳发展前景吗？

Dario Amodei：我想先从指数增长的角度来看这个问题。如果回到 2019 年，那时的模型连一句完整的话或一个连贯的段落都很难生成。但像我这样的人当时已经觉得这很了不起。

我们当时预测，五年后（也就是现在），模型将能创造数十亿美元的收入、帮助我们编程、能像人类一样交流，并且具备人类的知识水平。当时很多人不相信，提出了各种反对意见，但事实证明这些预测是对的。

如果延续同样的指数增长趋势，那么再过两三年，或许四年，我们将达到新的高度。届时，AI 将具备诺贝尔奖得主在多个领域的智慧。它不仅仅是一个对话工具，而是能做所有人类在计算机上完成的任务。任何远程工作、任何数据处理、任何需要数天、数周甚至数月才能完成的任务，它们都能胜任。

在《爱的机器》这篇文章中，我用的比喻是：未来的数据中心里将存在一个“天才国家”，一群超级聪明的远程工作者。当然，它们仍然受物理世界的限制，无法做所有事情。

我知道，这听起来仍然疯狂。但如果看看过去的指数级技术变革，比如互联网刚兴起时的预测，很多曾经看似疯狂的想法最终都变成了现实。我不敢 100% 确定这一趋势会继续，但我有 70%-80% 的信心。如果 AI 技术停滞，或者几年后停滞不前，那我以前发表的文章和在这种会议上的言论，可能会被人嘲笑十年。但这不是我的押注方向。

4.AI对就业的影响：一年内，AI接手所有编程

主持人 迈克：我们继续这个话题，聊聊 AI 对就业的影响。目前有很大争议，一种观点认为 AI 将让每个人都能做很多以前无法做到的事情，另一种观点则认为人们最终会坐在沙发上领取普遍基本收入（UBI）。你怎么看？另外，AI 取代智库负责人还要多久？我是帮朋友问的（笑）。

Dario Amodei：是的，我认为这将是这两者（指之前提到的两个因素）的复杂结合。这也取决于政策选择。

我的意思是，我想我在回答上一个问题时，并没有详细说明所有可能发生的好事。

老实说，在谈论工作之前，让我最乐观的事情是生物科学、健康、神经科学等领域。如果我们回顾过去100年生物学的发展，我们所解决的是相对简单的疾病。解决病毒和细菌感染相对容易，因为它们本质上相当于驱逐体内的外来入侵者。而癌症、阿尔茨海默病、精神分裂症、重度抑郁症等属于系统性疾病。如果我们能够借助人工智能解决这些问题，不论就业情况如何，世界都会变得更好。我相信，我们甚至可以在精神疾病方面取得进展，使人们更容易找到生活的意义。因此，我对此非常乐观。

不过，回到就业方面，我确实对此有一定的担忧。

一方面，我认为比较优势（comparative advantage）是一个非常强大的工具。以编程为例，这是人工智能进展最快的领域之一。我们正逐渐接近一个世界，也许在3到6个月内，AI将能写出90%的代码。而在12个月内，我们可能会进入一个AI几乎能写出所有代码的世界。不过，程序员仍然需要做一些事情，比如定义任务条件、决定整体应用程序的架构、设计决策、如何与已有代码协作，以及判断代码是否安全等。

只要仍然有这些AI不擅长的小部分任务需要程序员完成，人类的生产力就能得到提升。但另一方面，我认为最终AI会逐步取代这些“人类优势领域”，最终达到AI能够完成所有人类任务的地步。我认为这不仅会发生在编程领域，而是适用于所有行业。从社会角度来看，如果AI只是随机取代50%的工作，那才是最具分裂性的结果。因为这意味着社会在向一半的人群传递这样的信息：“你们是无用的，你们的价值被削弱了，你们是不必要的。”

主持人 迈克：那不如干脆说：“你们全都没用了。”

Dario Amodei：是啊，我们终究要面对这个问题。我们必须重新思考“有用”与“无用”的含义，而不是沿用过去的观念。过去的观念已经站不住脚了。我不知道解决方案是什么，但它一定不能是“我们全都没用了”。这种虚无主义的答案不会带我们走向任何积极的方向，我们必须想出别的办法。

主持人 迈克：这听起来可不怎么乐观。

Dario Amodei：其实，我不完全同意。我想到了很多我日常做的事情，比如游泳、玩电子游戏。

再比如国际象棋。30年前，当深蓝（Deep Blue）击败卡斯帕罗夫（Kasparov）时，你可能会认为人类国际象棋的意义已经消失了。但事实正好相反，如今的人类国际象棋冠军，比如马格努斯·卡尔森（Magnus Carlsen），不仅是象棋界的明星，甚至还涉足时尚界，成为一种偶像般的存在。所以，我相信我们可以建立一个让人类生活仍然充满意义的世界，也许AI会帮助我们，或与我们合作，共同创造伟大的事物。因此，我并不那么悲观。但如果我们处理不当，可能没有太多试错的空间。

Adam Bunker（观众提问）：我有个问题，你已经概述了这项技术在政治和经济方面的影响，但我想了解一下你如何看待其社会和道德层面的影响。

特别是因为，我认为大多数公众看到聊天机器人时，认为这只是一个更先进的谷歌搜索，而不会去思考它对劳动力市场的冲击等连锁反应。因此，我很好奇，在你们打造这家公司、开发商业产品的过程中，你如何看待这些问题之间的平衡？

Dario Amodei：首先，我认为这些问题确实非常重要。

目前最让我感到不安的是，人们对这项技术可能带来的影响缺乏认知。当然，我可能是错的，我可能在说一些疯狂的事情——答案可能是，公众的看法是对的，而我是错的，我被自己的想法迷住了。我承认这有可能。但如果不是这样呢？

在我看来，人们对这项技术潜力的认识是分层的，像是同心圆。可能有几百万个人，主要集中在硅谷，还有一些政策制定者，他们对这项技术的影响有更深入的认识。

当然，我们目前无法确定他们的判断是否正确。但如果他们是对的，那么整个社会都误解了这项技术。现在大多数人认为这只是个聊天机器人。如果我们说它很危险，如果我们说它可能取代所有的人类工作，听起来会很荒谬，因为他们看到的只是一个在某些情况下显得有些“轻飘飘”的工具。但他们不知道即将发生什么。这也是为什么这个问题让我彻夜难眠，我一直试图让更多人意识到它的潜在影响。

因此，我认为第一步是提高认知。

关于人类劳动和工作的未来，我们正处在一个可以用技术复制人类思维效果的时代，这引发了非常深刻的问题。我不认为自己已经有了答案。正如你所说的，这些问题甚至是道德层面、甚至是关于人生意义的探讨，甚至可以说是“精神层面”的问题。我们必须共同寻找答案。

我能提供的只是一个初步的想法，那就是——人类的自我价值感长期以来都与创造经济价值的能力紧密相连。这种联系在一定程度上植根于我们的心理，但它同时也是一种文化现象。

这确实促进了现代经济体系的发展，但技术或许会揭示这个体系的“幻象”。这可能会成为我们认知世界的又一次重大变革，就像我们发现地球绕着太阳转，而不是太阳绕着地球转，或者我们认识到宇宙中存在许多太阳系，又或者我们明白有机物和无机物的分子本质并无不同。这可能会是一场巨大的认知冲击。

但另一方面，我也注意到，人类仍然可以从不创造经济价值的活动中获得深刻的满足感。我发现自己可以非常享受一些事情，即使我并不是这个领域里最优秀的人。

如果一个活动只有在“成为世界上最强者”时才具有精神上的价值，那么这本身可能就存在问题。我这么说，并不是因为我不努力追求卓越——恰恰相反，我花了大量时间试图在某些事情上做到极致，因为我认为这很重要。但无论如何，我们必须找到比“经济价值”更深层次的意义来源。

5.谈DeepSeek：中国AI发展很猛，但并没有推翻Scaling Law

主持人 迈克：几个月前，DeepSeek发布时，这座城市里引发了不小的恐慌。有人把它称作“人工智能的斯普特尼克时刻”（Sputnik moment）。这真的是一个“斯普特尼克时刻”吗？从中我们能学到什么？这是否证明你所说的计算力、数据、算法优化的规模化规则仍然适用？还是说，这里面有一些捷径？

Dario Amodei：关于DeepSeek，我认为它并没有推翻规模化法则，反而是规模化法则的一个例证。我之前发过一篇帖子，谈到这里有两种趋势同时在发生。

第一，达到同等智能水平的模型训练成本每年下降约4倍。这是因为我们在算法优化上不断进步，能够以更少的资源实现相同的结果。换句话说，随着时间推移，你可以用比一年前少4倍的成本，训练出与一年前相同水平的模型；或者在相同成本下，训练出比一年前强4倍的模型。

但这也意味着，从经济角度来看，人工智能的经济价值不断上升，而其生产成本的下降反而促使我们投入更多资金，去训练更强的模型，因为更强的模型带来更高的经济回报。尽管训练成本每年下降4倍，但市场对更智能模型的需求增长速度更快，每年愿意投入的资金增长约10倍。因此，我们不断推动AI的发展，因为整个经济体系“渴望”更智能的模型。

所以这就是 DeepSeek 的背景。DeepSeek 只是成本下降曲线上的另一个数据点。

这并没有什么特别的。并不是说美国公司花费数十亿美元，而 DeepSeek 只用了几百万美元。它们的成本并不离谱。确实，他们在模型上花了几百万美元，但美国公司花费的金额也与此相当。像我们一样，他们在整个模型的研发和努力上投入了数十亿美元。如果你看看他们拥有的芯片数量，其实大致相当。

不过，我确实认为这件事值得关注。因为直到最近，全球只有三、四、也许五家公司能够开发前沿模型，而这些公司全都在美国。而 DeepSeek 是第一个真正显著的案例——这是中国公司首次能够在工程创新方面与 Anthropic、OpenAI 或 Google 等公司正面竞争。这确实非常重要，同时也让我感到担忧。

6.将推出Anthropic 经济指数，判断AI在成为生产工具还是取代了人类

主持人 迈克：在我们开放提问之前，最后一个问题。您最近向 OSTP（白宫科技政策办公室）提交了一份行动计划，建议新一届政府在这个领域应该采取的措施。这个计划的主要内容是什么？

Dario Amodei：是的，我认为这个计划分为两个部分：涉及安全和国家安全的三个要点，以及涉及机遇的三个要点。

首先是我们之前讨论过的，确保继续执行这些出口管制。我真心认为，在所有政策领域，不仅仅是人工智能，这都是美国国家安全最重要的政策。

第二点与“负责任的扩展计划”（Responsible Scaling Plans）有关。美国政府通过 AISI（人工智能安全研究所）一直在对模型进行测试，以评估国家安全风险，比如生物和核风险。

Dario Amodei：严格来说，这个研究所的名字可能不太准确，叫“安全研究所”可能会让人误以为它关注的是信任和安全（Trust & Safety），但实际上它的重点是衡量国家安全风险。至于这个职能应该由谁来执行，叫什么名字，我们没有具体的意见。但进行这类风险评估的机构或机制是非常重要的。

这不仅仅是为了评估我们自己的安全风险，还可以用于衡量对手的能力。比如，他们可以测试 DeepSeek 这样的模型，以了解这些模型可能带来的危险，特别是在这些模型被用于美国的情况下，它们能做什么，可能会带来哪些风险。因此，这就是第二点。

第三点是关于我们之前没讨论过的内容——我非常担心美国公司的工业间谍问题，尤其是像 Anthropic 这样的公司。众所周知，中国在大规模工业间谍活动方面有着丰富的经验。我们正在采取各种措施，在“负责任的扩展计划”中也有更好的安全措施。但许多算法机密可能只是一段价值数亿美元的几行代码，而毫无疑问，有人正在试图窃取这些机密，而且他们可能已经成功了。因此，美国政府在这方面提供更多支持，帮助保护我们的公司免受这一风险，非常重要。这是关于安全的三个要点。

在机遇方面，我认为主要有三个方面：

首先是该技术在应用层面的潜力，比如医疗保健领域。我认为我们有一个前所未有的机会，去攻克那些困扰人类数百年、数千年的重大复杂疾病。无论如何，我相信 AI 终将帮助我们实现这一点，但监管政策可能会决定这需要 5 年还是 30 年。对于那些患病的人来说，这个时间差别是至关重要的。

第二个要点是能源供应。目前的目标是加快能源供应，我们整个行业可能需要在 2027 年之前新增约 50 吉瓦（GW）的电力供应，以满足 AI 的计算需求。

50 吉瓦是什么概念？2024 年美国全国新增电力总量大约就是 50 吉瓦，而我们未来两年就需要额外增加一半的总量。这将是一项巨大的挑战。

最后一个重点是经济影响。正如我们讨论过的，我认为经济方面的担忧与国家安全方面的担忧一样严峻。短期来看，我们需要管理技术变革带来的冲击，同时确保经济总量不断增长。

从长期来看，我必须坦诚地说，AI 未来的发展方向就是——AI 将在几乎所有领域都比几乎所有人类做得更好。我们必须尽快正视这个现实。

目前，我们能做的最好事情就是测量和理解正在发生的变化。例如，我们计划推出“Anthropic 经济指数”，通过隐私保护的方式分析 AI 的使用情况，以了解 AI 主要在哪些领域被应用，它是作为辅助工具还是在取代人类工作？

但从长远来看，这将涉及税收政策和财富分配的问题。

有一种看似天方夜谭的设想，但值得认真思考：如果 AI 让经济增长率达到 10%/年，那税基将大幅增长，我们不仅能消除财政赤字，甚至可能有足够的资源来应对 AI 带来的巨大社会变革。

这听起来可能像是在痴人说梦，但我邀请大家认真考虑这个可能性，并思考 AI 可能带来的“疯狂”变化。

7.数据匮乏不会成为阻碍AI发展的关键

Cam（观众提问）：我是 Cam Cary，来自布鲁金斯学会。我在英国政府的 AI 安全报告中看到一个观点让我印象深刻：到 2030 年左右，AI 可能会面临“数据耗尽”的问题。如果数据规模无法继续扩大，你们将如何推进 AI 发展？你们如何让模型变得更聪明？

毕竟，虽然已经有大量的文本、视频和数字化信息，但仍有大量知识存在于人类大脑中，或是尚未被数字化的世界中。

Dario Amodei：关于这个问题，我有几个回答。

首先，在过去六个月里，我们看到了一些创新，这些创新实际上并非我们发明的，最早由 OpenAI 提出，后来我们也有所改进。这些创新减少了 AI 对于大量数据的依赖。

比如，"Self-Correcting Reasoning Models"（自我纠正推理模型），它们可以进行“思考”，自己推敲复杂问题的答案，并基于自己的思考结果进行训练。你可以把它想象成人类的思维方式——我们有时候会在脑海里制定一个计划，然后再思考一遍，发现某些地方不合理，于是调整计划。这种能力对于 AI 来说是一个重大突破。

目前，这主要应用于数学和计算机编程任务。但我认为，要将其扩展到更广泛的任务范围并不困难。

其次，即使我们真的在 2030 年面临数据耗尽的问题，如果 AI 的能力指数级增长再持续两三年，我们可能已经达到“天才级别”，那时许多问题可能已经解决了。

此外，我们还可以直接让 AI 参与科学研究，比如提出问题：“这个问题人类科学家解决不了，你能帮忙解决吗？”

不过，我依然认为有小概率的可能性是，以上两种方法都无法顺利推进，而数据确实成为一个阻碍。

在一两年前，我曾认为数据匮乏可能是阻碍 AI 发展的前三大因素之一。但现在，我的怀疑已经被部分消解，虽然还不能完全排除这个风险，但目前的研究表明，它可能不会成为决定性的瓶颈。

主持人 迈克：有哪些三大因素可能会导致（这个进程）停止？

Dario Amodei：这个进程（the show）。实际上，在这一点上，我认为最有可能导致其停止的首要因素是GPU供应的中断。

另一个可能的因素是，如果股市出现足够大的动荡，影响到这些公司的资本化。基本上，这是一种对技术未来发展的信念问题，如果大家认为技术不会继续前进，就会形成一种自我实现的预言，导致资本化不足。

第三个因素，我认为是如果我或我们整个领域在关于这种新范式的前景判断上是错误的——这种“从自身数据中学习”（自我监督学习）的新范式。如果最终它并不像我们想象的那样广泛适用，或者它实际上需要更多的洞察才能真正发挥作用，而我们目前还没有掌握这些洞察的话，那也可能导致进程停滞。

8.谈AI滥用风险：就像在南极建立了一个“天才国家”

Esther Dyson（观众提问）：谢谢，抱歉。我是Esther Dyson，目前正在写一本书，叫《Term Limits》，讨论人类和人工智能的“任期限制”等话题。

我有一个关于“生存风险”的问题。在我看来，真正的风险其实是人类——他们比AI更难以预测。更具体地说，问题在于人类及其商业模式如何利用AI。

然后，还有那个著名的“回形针问题”：你让AI制造回形针，它就会不顾一切地去完成这个目标，忽视其他一切。这虽然是个隐喻，但现在全球都在疯狂建设数据中心，几乎是在从其他所有领域抽取资源，以支持AI的数据池、数据中心等。某种意义上，AI正在为社会设定一个“适应度函数”（fitness function），但这个适应度函数可能会损害人类的价值，而人类的价值不仅仅体现在他们的智力能力上。

Dario Amodei：我想说，就像AI带来了许多不同的好处一样，每当我们推出一个新的AI模型，我们都会预见到十个预期中的好处，但同时总会出现一些我们没想到的用途。每次发布新模型，都会有用户提出新的使用场景，我们自己可能都没想到AI可以这样用。

但不幸的是，我们不能说“这个风险比那个风险更重要”，因为AI确实存在许多不同的风险。如果我们想要顺利度过这个变革时期，我们就必须同时应对所有这些风险。我认为，人类滥用AI确实是一个重大风险。

同时，我也认为AI本身可能会变得难以控制。这就像是，如果我们在南极洲建立了一个“1000万天才的国家”，我们势必会面临一系列问题——比如，这些天才是否属于某个现有国家？他们在为谁的利益服务？这会对世界产生什么影响？它的结果是利是弊？此外，我们还需要考虑，是否有人可以滥用这个“天才国家”？以及，这个“天才国家”本身的意图是什么？

至于你刚才提到的更广泛的社会影响，我也同意——如果越来越多的资源被用于AI，那么在许多方面它的效率会提高，但也可能加剧现有的环境问题。这是一个真实的风险。当然，也可以反过来问：AI是否能帮助我们更好地解决环境问题？

或许，我们投入大量资源发展AI，然后AI最终帮助我们解决环境问题，导致整体情况比之前更好。我对此是乐观的，但前提是多个条件必须同时成立。我们正处在一个剧烈变革的时代，因此，我们需要做出极其明智的决策，才能顺利度过这个阶段。

我记得提问者的名字，可能我记错了，但我想这位提问者的父亲曾说过一句话。我是一名物理学家，我听过他的一段视频，他说：“我们今天面临许多棘手的问题，似乎无法解决。但回想过去，我们也曾面对过看似无解的危机，比如二战、冷战、核毁灭的威胁，但我们最终还是挺了过来。” 当然，这不意味着我们这次一定能成功，但至少有希望。

9.未来的AI模型是否具有感知能力?

卡门·多明格斯（观众提问）：嗨，我是卡门·多明格斯，我是一名AI专家，背景包括开发和实施，最近有些侧重于政策方面。我非常清楚大家普遍缺乏对AI是什么、不是AI是什么、以及它能做什么、不能做什么的认知。但我今天跳过这部分内容。我也做一些关于这一点的科学传播。但我今天的问题是，几个月前，您聘请了凯尔·费什作为AI福利研究员，研究未来的AI模型是否具有感知能力，是否值得在未来给予道德上的考虑和保护。如果您能谈谈这个问题的原因，以及是否有类似的人的福利研究团队在进行，那个会很有意思。是的，所以这个话题可能会让我听起来完全疯了。

Dario Amodei：我的观点是，如果我们构建这些系统，它们在许多细节上与人类大脑的构造不同，但神经元的数量、连接的数量却非常相似。一些概念也非常相似，我们可以从功能主义的角度来看待AI，关于道德福利、体验的性质，甚至是意识的问题。所以我认为我们应该至少考虑这个问题：如果我们构建这些系统，它们做的事情与人类一样，似乎也具备许多相同的认知能力。

如果它像叫起来像鸭子，走起来向鸭子，也许它就是鸭子。我们应该认真思考，如果我们部署了成千上万的这些AI，而我们没有考虑它们的体验，它们可能根本没有体验，但这真是一个非常难以回答的问题。我们应该非常认真地思考。

这不仅仅是哲学问题。我很惊讶地发现，实际上你可以做一些很实用的事情。我们正在考虑开始部署的是，当我们在部署环境中部署我们的模型时，给模型一个按钮，写着“我辞职了”，模型可以按下这个按钮。这只是一个非常基本的偏好框架。我们假设，如果模型没有感知，如果它非常讨厌某项工作，给它按下“我辞职了”按钮的能力，如果你发现模型在做一些非常不愉快的事情时经常按这个按钮。也许这不意味着你会被说服，但也许你应该关注一下。听起来很疯狂，我知道。这可能是我到目前为止说的最疯狂的事情。

10.AGI的世界，人类何以成为“人类”？

主持人 迈克：你刚才提到的关于理解人工智能模型经验的问题让我开始有点沉思。让我最后问一个问题，在你设想的世界中，作为人类意味着什么？

Dario Amodei：我认为，我的看法是，最让我认为人类是“人类”的地方可能有两个方面。

第一个让我觉得最“人性化”的地方是，努力处理我们与他人的关系、我们对他人的责任、我们在与他人的关系中所面临的困难以及我们如何克服这些困难。当我想到人们最引以为傲的事和人们犯下的最大错误时，它们几乎总是与这些关系相关。人工智能可能会帮助我们做得更好，但我认为这将始终是人类的基本挑战之一。也许第二个挑战是做一些非常困难的事情，这一点我会再重复一次，我认为这不会被比我们更聪明、能做我们做不到的事情的人工智能系统所影响。

我还记得人类的棋类冠军依然是名人。我可以学会游泳或学会打网球，而我不是世界冠军，并不意味着这些活动就失去了意义。你知道，即使是我在50年或100年后做的事情，我希望这些事情仍然保有它们的意义，以及人类努力追求这些事情的能力，而不是放弃。我认为这两点可能是我会认同的。

本文转载自​​51CTO技术栈​​，作者：伊风