随着人工智能(AI)技术发展，会不会有一天出现“超人”AI，如果出现，会不会成为人类历史上最爆发的事件?
超人AI并非科幻影剧或小说形容的机器人，有强大的能量与知觉与人类作对，相反的，超人AI是我们创造的机器，吸取更多信息来观测未来，超越人类在现实世界的抉择能力，一旦形成，对人类是福是祸无法预测。
柏克莱加大计算机教授Stuart Russell认为，AI可能变成超人，所以要在“进化”到超人之前阻止，但为什么会出现，他认为是现行AI的错误发展方向所致。
现在“标准”的AI可说是一个有智慧的机器，借助运转达成目标。但机器没有自己的目标，目标是我们人给的，我们打造机器、给它目标、让它运转，机器越有智能，目标越容易达成。这一切很完美，只要我们给的目标完整又正确，一旦目标给错了，机器的智慧又高过我们，后果就不堪设想。
现在的AI智慧发展还在初期，仅用在生活的琐碎事情，也会出现弊端，以后超人AI必会用在全球事务，出错就是灾祸。例如用超人AI控制地球气象，目标是把CO2减少到工业化以前的排放量，超人AI为了达到这个目标，可能解释成减少地球人口到零。关掉机器?那个时候的AI不会让你有开关可关，也不会让你有插头可拔。
要阻止超人AI，Russell教授提出一个新的概念，要AI成为一个“造福”的机器，借助运转达成“我们”的目标，我们是广义的，指全体人类的优质内涵，这是一个模糊不确定的目标，而不确定性正是安全智能系统的重要功能。也就是说，无论智慧进化的多高，机器要永远尊重人类，会向人类请求、会接受错误、同时会允许被关机。
这样的新AI当然还有很长的一段路要走，华盛顿大学的计算机教授Oren Etzioni提出另一个做法，他说现在的AI远谈不上智慧，即使被大家称道的围棋，也不过是我们人框架出来的问题，然后设计去解决，AlphaGo击败围棋高手应归功于DeepMind一群人的智慧，而非机器。不过对于越来越多“超级智慧”危害人类的讨论，他设定几个“金丝雀”作为警讯的指标。
一百多年前进入矿坑挖煤，都带着金丝雀下去，金丝雀对一氧化碳及别的毒气非常敏感，如果死了，就是矿坑灾难的警讯。AI不会一夜之间发展成超级智慧，一旦金丝雀倒下去了，警讯亮起红灯，我们再设法管制也不算迟。Etzioni教授提出的三个预警金丝雀是：规划学习问题、自驾车、机器人医生。
- 规划学习问题，也可以说是提出一个问题让机器学习，包括描述问题、简化问题、数据设计、学习能力。这些工作对人来说已经不容易，何况是AI?要这只金丝雀倒下，还看不到丝毫影子。
- 自驾车越来越多，但距理想还有一段距离，AI在特殊状况下失控，可能造成灾难，例如遇到一个坐轮椅的人过街。自驾车的挑战是，在不可预测的人车互动现实环境，实时的做出保护生命的决定。 我们可以逐步增加自驾车，减少事故的发生，但直到与人类同等的驾驶层次，金丝雀才能倒下。
- 机器人医生由来已久，有的能诊断病情，更有的精确解读医学显影，但这仅是医师工作的一小部分。如果AI医师能问诊病人，考虑病情复杂化，咨询别的医生，就像人类医生一样了解病人，做广泛的工作，金丝雀才有机会低下头。
上述两位学者以不同方式阻止与监视AI的过度发展，都是长远考虑，但现在的AI已经进入了我们的日常生活，许多以前由人决定的事，申请入学、求职、升迁、贷款、乃至罪犯量刑，现在时常用AI决定。这些生活事务的决定，人的因素过多，为求公允借助AI， 希望减少人为的影响。
AI是人设计的，人的偏差，同样转移到AI的偏差，有人因此受到不平等待遇，成为现在AI亟待解决的问题。幸好问题已被发现，也有越来越多学者研究解决之道，但牵涉太广，需各个领域的合作，把公平放进AI，但定义“公平”又成为另一个挑战。这不是AI的问题，是人的问题。
