我们无法完全正确地指定目标，也无法预测或预防追求错误目标的超能力机器在全球范围内会造成的伤害。我们已经看到了一些例子，比如社交媒体算法利用人们的偏好来优化点击量，这给民主体制带来了灾难性的后果。
尼克•博斯特罗姆（Nick Bostrom）在2014年出版的《超级智能：路径、危险与策略》（Superintelligence: Paths, Danger, Strategies）一书中详细阐述了严肃对待风险的主张。《经济学人》（The Economist）杂志对这本书进行了评论，评论最后写道：“在地球上引入第二个智能物种影响深远，值得我们深思。”
当然，在利害攸关的情况下，智者们已经在苦思冥想了：参与严肃的辩论、权衡利弊、寻求解决方案、找出解决方案的漏洞等。据我所知，这些工作收效甚微，而且遭到了各种否认。
一些著名的人工智能研究人员的论据几乎不值一驳。我在文章中看到或在会议上听到了不下几十种说法，以下是其中的一部分：
电子计算器在算术方面无人能敌，而计算器并没有占领世界；因此，没有理由担心超人类人工智能。
历史上没有发生过机器杀死数百万人的例子，有鉴于此，这种情况未来也不会发生。
宇宙中没有无限大的物理量，智力也不例外，所以无须过度担忧超级智能。
或许人工智能研究人员最常见的回答是：“我们可以关掉它。”阿兰•图灵自己也提出了这种可能性，但他并不太自信：
如果机器可以思考，它可能会比我们思考得更全面，那么我们会处在什么位置？即使可以让机器屈从于我们，例如在关键时刻关闭电源，但我们作为一个物种，也应该感到自愧不如……这种新的危险……一定会让我们倍感焦虑。
关掉机器是行不通的，原因很简单，超级智能实体一定会考虑到这种可能性，会采取措施来阻止。它会这么做不是因为它“想要生存”，而是因为它在追求我们给它设定的目标，并且知道如果被关掉，它就会失败。我们不能简单地“关掉它”，就像我们不能仅凭将棋子放在相应的棋盘格上就打败阿尔法围棋一样。
其他形式的否认则引发了更复杂的观点，比如智力是多方面的。例如，一个人的空间智力可能高于其他人，但社交智力则不及后者，所以我们不能按照严格的智力顺序来排列所有人。对机器来说更是如此：将阿尔法围棋的“智力”与谷歌搜索引擎的“智力”进行比较毫无意义。
《连线》杂志的创始主编、极富洞察力的技术评论员凯文•凯利（Kevin Kelly）将这一观点又向前推进了一步。他在《超人类人工智能神话》（The Myth of a Superhuman AI）一书中写道：“智力不是一个单一的维度，所以‘比人类更聪明’是一个毫无意义的概念。”关于超级智能的忧虑被一竿子打翻了。
现在，有一个很明显的答案，机器可能在所有相关智力的维度上超越人类。在这种情况下，即便按照凯利的严格标准，机器人也会比人类聪明。不过这个相当有力的假设并不是反驳凯利的论点的必要条件。
以黑猩猩为例。黑猩猩的短期记忆可能优于人类，即使是人类擅长的任务，比如回忆数字序列也是如此。短期记忆是智力的一个重要维度。按照凯利的论点，人类并不比黑猩猩聪明，事实上，他会说“比黑猩猩聪明”是一个毫无意义的概念。
对仅仅因为人的宽容而存活下来的黑猩猩和其他物种，以及所有人类已经摧毁的物种而言，这可不是什么安慰。同样，对于可能担心被机器消灭的人来说，这也算不上安慰。
有人认为超级智能无法实现，因此超级智能的风险也就不复存在。这些说法并不新鲜，但现在人工智能研究人员自己都说这种人工智能不可能实现，着实令人惊讶。例如，AI100组织的重要报告《2030年的人工智能与生活》（Artificial Intelligence and Life in 2030）称：“与电影场景不同，未来现实中不会也不可能出现超人类机器人。”
据我所知，这是第一次有严肃的人工智能研究人员公开表示不可能出现人类级或超人类人工智能，而且这发生在人工智能研究飞速发展的时期，这期间一个又一个障碍被打破。这就好比是一群顶尖的癌症生物学家宣布他们一直在愚弄我们：他们一直都知道永远都不会有治愈癌症的方法。
是什么促成了这种重大转变？报告中没有提供任何论据或证据。（事实上，有什么证据能够证明，物理上不可能存在比人类大脑更优的原子排列呢？）我认为主要原因在于部落主义——这是一种对抗可能对人工智能构成“攻击”的事物的本能，然而，将超级智能的人工智能视为可能对人工智能构成攻击的事物似乎有些奇怪，用人工智能永远不会实现其目标来为人工智能辩护更显得荒谬。我们不能靠打赌断定人类的创造力有限来确保未来的灾难不会发生。
严格来说，超人类人工智能不是没有可能，那我们是否无须过早担心它的风险？计算机科学家吴恩达认为，这就像是在担心“火星上人口过剩”。不过，长期风险仍然会引起人们的关注。何时担忧有关人类的潜在严重问题，不仅取决于问题发生的时间，还取决于准备和实施解决方案需要多长时间。
例如，要探测一颗将于2069年与地球相撞的小行星，我们会等到2068年才开始研究解决方案吗？当然不是！人类将设立全球性的紧急项目来寻找应对威胁的方法，因为我们无法提前获知我们需要多少时间。
吴恩达的观点也让人感觉我们根本不可能把数十亿人转移到火星上去。这个类比是错误的。我们投入了大量的科学和技术资源来创造更强大的人工智能系统，却很少考虑成功之后会发生什么。我们可以做一个更恰当的类比：计划把人类迁移到火星，而不考虑到达后的呼吸、饮食问题。有些人可能会认为这个计划不明智。
另一种回避潜在问题的方法是断言人们对风险的担忧源于无知。例如，艾伦人工智能研究所的首席执行官奥伦•艾奇奥尼（Oren Etzioni）指责呼吁人们认清人工智能潜在威胁的埃隆•马斯克和斯蒂芬•霍金是卢德主义（对新技术和新事物的盲目冲动反抗）者：
每一项新兴技术创新都将人们置于恐惧中。从工业时代初期织工把鞋子扔进纺织机，到今天对机器人杀手的畏怯，我们不知道新技术会对自我意识和生计产生什么影响。当我们一无所知，便会心生恐慌。
即使从表面上理解这个经典的谬误论证，它也站不住脚。霍金对科学推理并不陌生，马斯克监督并投资了多个人工智能研究项目。如果认为提出担忧的比尔•盖茨、I.J.古德（I.J. Good）、马文•明斯基、阿兰•图灵和诺伯特•维纳（Norbert Wiener）都没有资格讨论人工智能，那就更不可信了。
指责卢德主义也是完全错误的。这就好比当核工程师指出有必要控制裂变反应时，有人指责核工程师是卢德主义者。也就是说，提及人工智能的风险就意味着否认人工智能的潜在利益。再以奥伦•艾奇奥尼为例：
悲观预测往往没有考虑到人工智能在预防医疗事故、减少车祸等方面的潜在优势。
近期，脸谱网首席执行官马克•扎克伯格与埃隆•马斯克进行了媒体交流：
反对人工智能就是在反对不会发生事故的更安全的汽车，反对更准确的患者病情诊断。
任何提及风险的人都是在“反对人工智能”，这种观念很离奇。（核安全工程师“反对电”吗？）更重要的是，整个论点恰恰是逆向的，原因有二。首先，如果没有潜在利益，就没有人工智能研究的动力和人类级人工智能带来的危险，我们也就不会进行相关探讨。其次，如果不能成功降低风险，就不会有任何利益。
1979年三里岛、1986年切尔诺贝利和2011年日本福岛发生的灾难性事件大大降低了核能的潜在利益。这些核灾难严重限制了核工业的发展。意大利于1990年放弃了核能，比利时、德国、西班牙和瑞士已经宣布放弃核能计划。从1991年到2010年，每年新增的核电净容量大约是切尔诺贝利事故前几年的1/10。
奇怪的是，有这些事件作为前车之鉴，著名的认知科学家史蒂文•平克（Steven Pinker）依然认为，不应呼吁人们关注人工智能的风险，因为“先进社会的安全文化”将确保消除所有重大的人工智能风险。即便无视我们先进的安全文化导致的切尔诺贝利核事故、福岛核事故和全球变暖失控，平克的论点也完全没有说到重点。发挥作用的安全文化包括指出潜在的失效模式和寻找方法来进行预防，而人工智能的标准模型即是失效模式。
平克还认为，有问题的人工智能行为源于设定特定类型的目标；如果不考虑这些，就不会有任何问题：
人工智能反乌托邦项目将狭隘的大男子主义心理投射到了智力的概念上。他们认为，具有超人类智力的机器人会制定一些目标，比如推翻它们的主人，或者征服世界。
深度学习先驱、脸谱网人工智能研究主管扬•勒丘恩（Yann LeCun）在淡化人工智能风险时，经常引用同样的观点：
我们无须让人工智能拥有自我保护本能、嫉妒心理等……人工智能不会产生破坏性的“情绪”，除非我们将这些情绪融入其中。
那些认为这种风险可以忽略不计的人，没有解释为何超级人工智能必须处于人类控制之下。
实际上，不管我们是否植入“情感”或“欲望”（比如自我保护、资源获取、知识发掘，或者极端情况下的统治世界）都全然无关紧要。机器无论如何都会产生这些情感，就像我们所构建目标的子目标一样——不管它是什么性别。正如“关掉机器”的观点所揭示的，对于一台机器来说，生命终止本身并不是坏事。尽管如此，还是要避免生命终止，因为一旦终止，它们便很难达到目标。
“避免设定目标”观点的一个常见变体是：足够智能的系统必然会凭借其智力而自行制定“正确”的目标。18世纪的哲学家大卫•休谟在《人性论》中驳斥了这一观点。尼克•博斯特罗姆在《超级智能》（Superintelligence）一书中将休谟的观点视为正交命题：
智力和最终目标呈正交关系：任何水平的智力都可以或多或少地与任何最终目标相结合。
例如，无人驾驶汽车的目的地可以是任何指定的地点；让汽车更好地自动驾驶，并不意味着它会自动拒绝前往需要既定数学计算的地址。
同样，不难想象，通用智能系统可以或多或少地被赋予目标，包括最大化回形针的数量或已知圆周率的数位。这就是强化学习系统和其他奖励优化器的工作原理：算法是完全通用的，可以接受任何奖励信号。对于在标准模型中工作的工程师和计算机科学家来说，正交命题只是一个给定命题。
著名机器人专家罗德尼•布鲁斯克（Rodney Brooks）明确批判了博斯特罗姆的正交命题，他断言，一个程序“不可能聪明到发明出颠覆人类社会的方法来实现人类为之设定的目标，却不了解它是如何给人类造成困扰的”。
不过，鉴于布鲁斯克对这个问题的定义，这样的程序不仅是可能存在的，实际上更是不可避免的。布鲁斯克认为，机器“实现人类设定目标”的最佳方案正在给人类带来问题。由此可见，这些问题反映了人类在制定目标时忽略了对人类有价值的东西。由机器执行的最佳方案很可能会给人类造成困扰，而机器也很可能意识到了这一点，但是，机器显然不会认为这些问题是有问题的，这不关它们的事。
总而言之，那些认为人工智能带来的风险微乎其微的“怀疑论者”并未解释为什么超级人工智能系统必须处于人类控制之下；他们甚至没有试图解释为什么超级人工智能系统永远不会被开发出来。
人工智能领域必须承担风险，并尽力降低风险，而不是继续陷入对立中伤和反复挖掘不可信的论点。就我们所知，这些风险既非渺小，也非不可逾越。第一步就是认识到必须替换标准模型，改变人工智能系统优化一个固定目标的模式。这是一项糟糕的工程。我们需要做大量的工作来重塑和再构人工智能的基础。
