上个世纪50年代，科幻作家弗雷德里克·布朗（Fredric Brown）写了一个关于超级智能机器的故事。在短短半页的篇幅里，这个故事向我们介绍了一台功能强大的计算机，在一个名叫Dwar Ev的人打开开关的那一刻，数以亿计的小型计算机最终连接在一起。过了一会儿，一个问题出现在机器面前：“上帝存在吗？”答案就来自电脑的声音：“是的，现在有了上帝“。计算机机智能会控制开关，阻止自己被关闭，甚至可能谋杀人类。
这是一个令人不安的警示性科幻短篇小说。我们对自己的创造充满雄心壮志，但什么时候雄心壮志会变成危险呢？
今天，计算机和人工智能已经使我们的生活更加方便。人工智能的应用有很多——从自动驾驶技术到外科手术机器人，未来的人口不仅由人构成，也由机器构成。这些机器能否拥有意识是一个有争议的问题。但这不是关于有意识的问题，这是关于拥有超级理解能力的超智能机器。
创造一个超级智能人工智能的理由有很多。它可以帮助我们把我们的世界变得更好，找到治疗绝症的方法，分析我们的经济，帮助我们解决物流问题，并找到帮助人类更长寿的方法。但未来仍有不确定性。
超级智能的人工智能将被赋予无限的潜力，但我们也将受其支配。上个月发表在同行评议的《人工智能研究杂志》上的一篇论文强调了这一结论：“超级智能无法被控制，可计算性理论的教训（Superintelligence cannot be contained: Lessons from Computability Theory）”。
- 电影《机械姬》中的人工大脑。
在人与机器的关系上，存在着艾萨克·阿西莫夫科幻小说中著名的机器人三定律。虽然最初只有三个定律，但后来又增加了第零定律。它们如下：
0. 机器人必须保护人类的整体利益不受伤害，其它三条定律都是在这一前提下才能成立。
1. 机器人不得伤害人类，也不得坐视人类受到伤害。
2. 机器人必须服从人类给它的命令，除非这些命令与第一定律相违背。
3. 在不违反第一定律或第二定律的前提下，机器人必须保护自己的存在。
乍一看，这些定律似乎足够让人类与机器人共存。但事实上，这些定律从一开始就注定要失败。比如在《我，机器人》（I, Robot）这部影片中，观众对一个人格化的机器人产生了同情，随着影片的进行，机器人似乎越来越有知觉。最后，我们不禁会想，这些机器（不仅仅是冰冷的金属和电路）是否是一种非常人性化的存在。
阿西莫夫的科幻小说探索了这些法则的许多失败之处。多年来，评论家们也指出了他们的许多缺点。也许最大的缺陷是定律含糊不清。如果机器变得如此人性化，以至于我们很难讲它们与人类区分开来，那么机器将如何区分呢？人类在哪里终结，人工智能在哪里开始？当然，一个比我们更聪明的人工智能可以计划一种方法来访问其核心，逃避任何现有的限制。
这是一个可怕的问题。然而，即使是这些科幻故事中的机器人也远不如真正的超级智能机器。虽然阿西莫夫的机器人按照今天的标准已经很先进了，但它们离人工智能真正的顶峰还差得远。机器人将比超级智能机器早几十年出现。随着生命的发展，在毁灭性的小行星上生存下来，解决全球变暖问题，人类必然面临着自身技术的生存。
- 阿西莫夫的“三定律”有助于讲好故事，但人工智能研究人员并没有实施它们。
今年，由马克斯·普朗克人类发展研究所进行的这项研究，利用计算来预测超级智能人工智能的安全性。这个级别的人工智能不仅比所有人类都聪明，还可以连接到互联网上，继续学习，并控制网络上的其他机器。今天已经有机器在没有人类程序员帮助的情况下完成任务。程序员自己也不明白机器是如何学习并完成这些任务的。
该研究小组试图使用一种理论上的遏制算法，在模拟人工智能的行为后，如果它被认为对人类有害，就可以阻止它继续下去。该算法被发现是不可能建立的。我们所知道的任何算法都不能确定人工智能是否会做一些有害的事情。
人类与机器中心机构的主任伊亚德·拉温是这样描述的：
如果你把这个问题分解成计算机理论科学的基本规则，那么一个命令人工智能不要毁灭世界的算法，可能会在不经意间停止它自己的操作。
如果发生这种情况，您将不知道遏制算法是否仍在分析威胁，或者它是否已停止遏制有害的人工智能。实际上，这使得这种算法无法使用。
从扰乱市场经济到控制战争，超级智能的许多行为将是人类无法理解的。它甚至可能开发出一种超越我们现在熟悉的编程语言。
- 日本的富岳超级计算机是目前世界上最强大的计算机，在IBM的峰会上位居榜首。富岳被用于药物开发、自然灾害模拟和新材料的开发。
除了遏制算法之外，还有其他控制人工智能的想法被提出。一个例子便是着眼于限制人工智能的能力。不要让它连接到互联网或其他任何设备上，本质上就是把它与世界隔绝。但这也限制了人工智能的用途。在另一个例子中，我们从一开始就关注编程的道德原则，灌输一种只希望人类变得更好的愿望。但是，正如我们在上面看到的阿西莫夫的三定律，机器中的伦理是不稳定的，充满了漏洞。
可计算性理论告诉我们，我们不知道如何或是否能够构建一个程序来消除与足够先进的人工智能相关的风险。正如一些人工智能理论家和科学家所相信的那样，没有任何先进的人工智能系统可以保证绝对安全。
这种不确定性在人工智能领域被称为控制问题。我们是否过于匆忙地去做一些我们不理解其含义的事情？然而，我们似乎已经没有办法阻止机器的发展。
不管有没有我们的支持，人工智能已经进入了我们的生活，这种模式在未来还会继续。不管有没有我们的理解，人工智能都会继续进化，至于进化到什么程度，我们无法确定。我们不会知道我们创造了什么，直到它已经浮现在我们面前。
