在这个星球上，我们是当下最有智慧的物种，其他所有的生命都要仰赖我们的善意来继续生存下去。我们的命运会不会继而就要仰赖这些优越、超智慧机器的善意?接下来所要谈的问题就是，超智慧机器可不可能直接把我们消灭掉?它会不会成为人类的末日?
电影里通常都把机器描绘得很邪恶。但无能为力似乎才是比较可能的风险，而不是心怀不轨。当然，我们必须考虑到的可能性是，超智慧机器或许会在无意间使人类走入末日。而且可能发生这件事的情境有好几种。
电影《魔鬼终结者》中，天网为首的人工智能正试图消灭所有幸存的人类
点金术
第一种风险情境是，超智能机器的目标或许会设计得很糟糕。迈达斯国王的希腊神话就阐述了这点。有人实现了他的愿望，使他所摸到的一切都会变成黄金。但对于自己真正想要的东西，国王却指定得很糟糕：他并不想要食物或女儿变成黄金。
神话故事中，迈达斯碰到女儿之后，误把她变成了黄金雕塑
有人可能会主张说，人工智能已经在某些微小和不是非常危险的方面显示出这点。举例来说，在 2017 年由研究人员所通报的实验中，他们教会了计算机去玩赛船的电玩游戏《赛艇大亨》。人工智能并没有去完成比赛路线，而是学会了绕小圈去撞别的船，因为这样所增加的分数比实际完赛要快。
由于超智能机器这么聪明，它达成目标的方式或许会把我们吓一跳。假定我们要超智慧机器治疗癌症。要做到这点，有一个办法是把可能藏有癌症的宿主全部消灭掉，于是就使人类走入了末日。跟我们要它治疗癌症时所想要的不尽相符。
类似的例子是以相当晦暗的看法来设想超智慧。假如我把治疗癌症的差事交给你，你就开始杀人，我大概就会判定你并不是那么有智慧。我们所设想有智慧的人是学过良好的价值，并懂得他人的苦难，尤其是敏感和感性的人。超智慧不是就该明智得恰如其分又有智慧吗?
到处都是回形针
第二种风险情境是，即使目标经过适当指定，或许仍会有不利的副作用使人类群体受害。凡是为一些计算机程序码除错过的人都知道，计算机在解读指令时，一板一眼到有多令人气馁。伯斯特隆姆所提出的著名思想实验就是在探讨这种风险。
假定我们打造出超智慧机器，给它的目标是要尽可能多做回形针。由于机器是超智慧，所以它会非常善于制造回形针。机器可能会开始兴建愈来愈多的回形针工厂。到最后，整个星球都会变成做回形针的工厂。机器完全是奉命行事，但结局却对人类不利。
他们还是我们?
第三种风险情境是，任何超智慧都会有跟人类群体的持续生存可能有所抵触的子目标。假定超智能有某个总体目标，像是增进人类的幸福或保护这个星球。你所能想象到任何像这样的目标，几乎都必须靠超智慧开发资源来让它的举动付诸实行。它也必须容许超智慧持续操作，好让它能达成目标。
但人类可能会把机器关掉。此外，人类会去消耗用来让超智能本身的目标更好的资源。所以说，合乎逻辑的结论就是，超智慧会想要把我们消灭掉。如此一来，我们就无法把它关掉，或是去消耗运用在它的目标上可能会更好的资源。
在电影《2001:太空漫游》里，HAL 9000 计算机就代表了人工智能在自卫驱力上或许是最为人所知的远景。HAL 不惜一切企图要阻止在发现一号宇宙飞船上的航天员把计算机关机，于是就开始加以杀害。
电影《2001：太空漫游》中最经典的场景之一，暗示着由人类创造的机器，已逐渐摆脱人类的控制
移动靶
第四种风险情境是，任何超智慧都可能自我修改，开始运作得有所不同，甚至是为自己指派新的目标。
假如我们给它的目标是把自己变得更有智慧，尤其有可能会这样。我们如何能确定，经过重新设计的超智慧机器依旧符合人类的价值?新系统或许会把原本某个无害的地方给放大，并可能对我们非常有害。
移动靶不见得只有超智能，它在操作时所处的更大系统也是。我们在人类的体制里就已看过这种现象：所用的名称则是「使命偏离」。你决定派一些军事顾问去越南，十年后却有数十万军人在战场上打一场赢不了的全面战争。
无感
第五种风险情境是，任何超智慧都可能对我们的命运完全无感，就如同我对某些较低智慧生命形式的命运无感。假如我在散步，对于踩死了路上的蚂蚁，我不见得会特别担心，甚至一无所知。我不会特地把蚂蚁给灭掉，但它们正好就在我的散步路线上。
同样地，超智慧不见得会对我们的生存大为关切。假如我们正好妨碍了它的目标，我们可能会直接被消灭掉。超智慧并不是对我们心怀不轨，我们只是遭到了池鱼之殃。
我们该担心吗?
这些生存风险有部分要靠超智慧非常迅速地衍生。假如这件事发生，我们就没什么机会看到问题出现并加以矫正了。但就如我们所见，假定不会有科技奇点的原因有很多。假如是这样的话，超智慧就比较有可能是慢慢衍生，因为我们会费心把系统建造得愈来愈好。我的同事大部分都相信，超智慧要过好几十年、甚至是好几世纪才会降临;假如他们说得对，我们应该会有不少时间来采取预防措施。
知道在过去十年间，有聚焦于人工智能安全性的研究社群成立，各位或许也会松一口气。在特斯拉CEO伊隆·马斯克千万美元补助款的部分资助下，现在美国、英国和其他地方都有研究团体，在为我刚才所勾勒出的这种风险寻求技术上的解决之道。我还满有把握，凭着这些努力，人工智能不会很快就把人类消灭掉。
不过，我们并不能完全摒除超智慧所构成的生存威胁。但我们八成应该把注意力集中在比较眼前的生存威胁上，还有人工智能所构成比较眼前的非生存威胁。而且对于人工智能很可能不会是人类所面临最大的生存风险，各位不需要听我的一面之词。
2017 年 9 月时，《泰晤士高等教育》针对五十位诺贝尔奖得主做了调查，气候、人口增长、核战、疾病、自私、无知、恐怖主义、基本教义和时任美国总统川普，在排名上对人类群体的威胁，都比人工智能要大。
所以，关系AI只能消灭人类更多是杞人忧天，你认可吗?
