智能系统不能决定自己的初始目标，但会根据经验构建自己的派生目标，而其行为是被这些目标共同决定的。在这方面计算机和人类并无本质区别，所以人工智能系统完全可以达到人类水平的自主性。我们应当对由此而来的机会和挑战有所准备，而简单地断言“人工智能归根结底是实现设计者目标的工具(所以没什么新鲜的)”或“人工智能的目标是我们完全无法影响的(所以必定毁灭人类)”都是错的。
撰文
王培(美国天普大学计算机与信息科学系)
在那些认为人工智能永远不能达到人类水平的理由中，最常见的一个是“所有智能系统都是设计者实现自己目标的工具，而机器自身是不可能有任何目标的。只有人能为自己设定目标。” 我在这里要指出这个断言是错误的。
计算机系统中的目标
每个系统都有“做什么”的问题，也有“怎样做”的问题。前者是关于目标或任务，后者是关于方法或手段。在传统计算系统中，二者都是人定的：每个程序都按人指定的方法实现人设定的目标。比如说你可以调用一个程序来找到一组数中的最大值，但计算机只是接受并实现了你给它的目标，而不是自己设置或选择了这个目标。
当要达到的目标很大的时候(比如“成为首富”)，一个自然的策略是将其分解成若干小些的目标。如果一个“小目标”仍嫌太大(比如“先挣一个亿”)，那就进一步分解，直到目标可以实现为止(比如“从床上爬起来”)。这个目标分解过程在人工智能中叫“反向链接”(backward chaining，见参考资料[1])。在反向链接过程中生成的目标通常被称为“子目标”。这些目标尽管是系统生成的，但不能说是系统为自己设定的，因为“子目标”是循给定的程序将外界设定的“总目标”分解而得，所以它们的存在价值和意义也完全是为该“总目标”的实现做贡献。
即使是目前火爆的机器学习，也只是从大量数据中总结实现给定目标的方法，而目标本身不是学到的。前不久，AlphaGo的升级版以快棋60战不败的记录横扫围棋界，尽管它从来也没有“自己想要”下围棋。在AlphaGo中大显神通的“强化学习”技术是通过其每个决定所得到的“奖励分数”来逐渐学会在各个情境下怎么做得分最高的。这类系统中确定各个情境的奖励分数的那个函数就隐含地确定了系统的目的，而这个函数不是系统自己设定的，是设计者编制在系统中的。
智能和自主性
AlphaGo算是有智能吗?不同的人会有不同的评价(见《当你谈论人工智能时，到底在谈论什么?》)，但我想不少人会和我一样觉得真正的智能系统必须有自主性，即在“做什么”和 “怎样做”两方面都能自己做主。在《计算机能有创造性吗?》之中，我已经解释了怎样让智能系统自己发现解决某些问题的办法，而这里要介绍怎样让它为自己设定目标。
我在《你这是什么逻辑?》等专栏文章中已经介绍了我设计的“纳思”系统的若干方面。因为纳思必须在知识和资源相对不足的条件下工作，其中对目标的处理和传统系统非常不同(详见参考资料[2])。作为一个人造系统，纳思的“初始目标”自然还是由外部设定的，但即使在这方面，它和传统系统也有两点显著不同：
(1)实时性：初始目标既可以是由设计者植入系统的先天结构的(比如“造福人类”)，也可以是用户在系统运行时随时输入的(比如“给我杯茶”)。这些目标都有时间要求(比如“永远”、“三年内”、“今天”、“马上”、“尽快”)，而且常常在系统仍忙于其它目标时出现。
(2)开放性：只要是目标以系统所能识别的方式表达即可，而对其内容并无限制。这就是说诸目标可以是直接或间接相互冲突的(比如一个用户说“开门”而另一个说“关门”)，或超出系统的现有知识范围(比如“实现世界和平”)。
由于智能系统不是神仙，上述特征的一个必然后果就是纳思不能保证实现给它设定的所有目标。当然，它不总是简单地说“我做不到”，而是尽可能最大限度地实现它们。一般情况下，系统不是一个接一个地实现其诸多目标，而是同时考虑它们。每个初始目标有个“优先度”，以便系统权衡轻重缓急，并在目标间有冲突时决定倾向哪方。
除去在非常简单的情况下，一个智能系统中的绝大多数目标都是不能直接一步就实现的。不要说“造福人类”或“挣一个亿”，就是“送杯茶”也需要分成若干步骤，各有其具体目标。纳思能够根据其知识通过推理生成“派生目标”。比如说如果它相信创办一家人工智能公司就能挣一个亿，那么它就有理由以“创办一家人工智能公司”作为一个新目标。这和前面提到的“反向链接”有相似之处，但有几个根本差别。首先是要考虑对其它目标的影响。比如说它如果相信人工智能的未来发展会威胁“实现世界和平”这个目标(这是个有反思精神的AI)，那它就有理由不设立“创办人工智能公司”这个新目标，而通过其它途径去挣一个亿(比如炒房地产)。因此，在纳思中一般不能把一个派生目标看成单一初始目标的子目标，因为它往往和很多初始目标有关，起码没有被它们所否决。其次，即使一个派生目标主要是作为实现某个初始目标的手段被创建的，但由于二者的关系是基于系统当时的知识，那很有可能被后来的经验所推翻。比如说“创办人工智能公司”可能最终导致赔钱的结果，从而和“挣一个亿”的期望相悖。我在《证实、证伪、证明、证据：何以为“证”?》中解释过，智能系统对未来的预测是基于过去经验之上的，因此永远有出错的可能性。这就意味着一个派生目标的实现可能实际上无助于使其建立的初始目标，甚至可能阻碍后者的实现，但这是系统在生成此目标时不知道或没想到的。最后，一个派生目标建立后，它与其“本源”目标的联系会逐渐淡化，以至于在其本源消失(不论是被满足还是被放弃)之后仍然可能存在。
综上所述，纳思的目标派生过程同时也开始了一个“手段目的化”的过程。如果初始目标A触发了派生目标B的创立，这二者的关系仅仅是历史性的，而不是永久性的。系统会把B作为一个独立的目标来对待，而不是作为A的附庸。当然这里会有一个量上的差别，即B的优先度开始时会低于A的优先度。如果B后来得到越来越多的其它(A以外的)支持，它可能逐步成长为一个对系统比A更重要的目标，这就是说在决定系统行为时，A未必永远比B有更高的发言权。在纳思中对这个派生链的长度是没有限制的，所以如果B又触发了C，C触发了D，D和A的实际联系就可能非常遥远了，尽管追根寻源是从那里来的。由于派生目标不仅取决于初始目标，而且取决于系统的经验，它们在不同程度上应当被看成系统为自己设定的目标，而一个派生目标离初始目标的“距离”越远，它的“自主”程度就越高。在上面的例子中，A完全是“外来的”，而B、C、D则一个比一个更有资格被称为系统“自己的”。有兴趣的读者可以通过我主页上的链接下载一个纳思的测试版来验证这种现象。
(图片来源：千图网)
人的目标来自何处
有些人会反对我上面的结论，说既然所有派生目标归根结底还是源于初始目标，那就不能算是系统自身构造的。那就让我们看看人“自身的”目标是怎么来的。
尽管不少人觉着人有“自由意志”，想干啥就干啥，但心理学家从不认为人的目标是任意的或随机的，而是致力于发掘人类动机、驱力、需求、欲望、目标等的隐秘来源。在这个领域最广为人知的学者包括弗洛伊德和马斯洛。弗洛伊德认为人的心理活动的基本驱动力量是生物性的，如生存和繁殖，而其它动机无非是这些本能欲望的变形或替代。马斯洛将人的需求划分为五个层次(从低到高是生理、安全、社交、尊重、自我实现)，而高层需求是在低层需求的基础上发展出来的。根据这些理论，人的初始目标也不是自己确定的，而是来自于先天(遗传因素)。我们能选择的是它们的派生、导出形式，而这些选择也必定是在我们的经历和资源约束下的做出的，而非任意的。
心理学家奥尔波特提出了“机能自主”的概念(参考资料[3])，说的就是派生动机在机能上逐渐会摆脱和原始动机的关系而获得自主，也就是实现从“手段”向“目的”转化。这样的例子数不胜数。一个小学生开始时的学习目的主要是获得父母的奖励，但她后来从求知过程中得到了乐趣，从而不再需要父母的奖励。一个人工智能公司的创办人可能满足于研发活动带来的成就感，而不再想他本来办公司的目的是要挣一个亿。在最极端的情况下，一个派生目标甚至会反过来否定初始目标，比如为自由牺牲生命。这可以叫做目标的“异化”。
我这里是把“异化”作为一个中性词来用的，因为这个现象的后果可好可坏，不管是从个体和群体的角度看都是如此。一方面，把手段当作目的会妨碍原先目标的实现，起码会分散系统的注意力;另一方面，如果没有这种异化，那人类所有超出动物性的追求大概都不可能出现(比如说，艺术有什么用?用画岩画的工夫去抓只兔子不是更实惠?)。无论如何，我认为这是真正的智能系统(不论是人还是计算机)中所必然产生的现象。由于知识和资源的不足，这样的系统不可能保证目标派生关系的绝对有效性，也无法在决策过程中完整地考虑到这些关系。
智能系统的目标体系
那些本来就对人工智能心怀警惕的读者现在会想：如果目标异化不可避免，那人工智能岂不就是必然失控并导致灾难了吗?我认为恰恰相反，正是上面描述的这种目标机制使通用人工智能的良性使用成为可能。
(图片源于网络)
和主流的人工智能技术相比，纳思在目标处理上的不同点可以总结为两个关键词：“制约”与“演化”。
由于主流人工智能致力于“解决那些以前只有人脑能解决的问题”，大部分系统只接受一个初始目标，而其余目标都是它的子目标。即使那些接受多个初始目标的系统一般也假设这些目标之间不冲突，且可以逐个实现。这种做法对专用系统来说是合适的，但完全不适应通用系统的要求。以AlphaGo为例，其设计就是以“赢棋”为唯一目标。如果这就是我们想要的，那这个技术就非常合适。如果我们希望这个系统同时实现其它目标，如“教人学围棋”、“提高围棋比赛的观赏性”、“发现围棋之道”、“给人类留点自尊”等等，那么这个技术就不合适了。
为什么不能把这些目标合成一个“总目标”呢?这在某种意义下是可能的，如纳思就有一个关于目前诸目标的总体满足程度的测量，可以说是一种简单化的“幸福感”。但问题是系统的大部分知识都是关于如何实现各个具体的“小目标”的，而非直接关系到系统的“总目标”。比如我知道“推门”这个动作一般会实现“开门”这个目标，但不知道这个动作有多大可能性提升我的“幸福感”。因此，目标派生是必须的，而系统要考虑的是一个目标体系，而不是单个目标。就凭这一点，像“强化学习”之类的现有AI技术就不能被用作通用智能(AGI)的核心技术。
即使只谈安全性，单一目标也有很大问题。在关于人工智能危险的讨论中广泛流传的例子包括“如果你要一个超级智能造曲别针，它可能把地球上的所有资源耗尽来干这个”，“如果你要一个超级智能实现世界和平，它会想把人类全灭了就和平了”。由此可见，即使“总目标”有益无害，其后果也可能是灾难性的。这些例子不无道理，但问题是它们往往被用来论证“人工智能是危险的”，尽管它们实际上展示的是追逐单一总目标的危险性。历史已经反复展示了不惜一切代价追求某目标所造成的灾难，不管这个目标本身多么有价值(比如“GDP”、“稳定”、“政治正确”等等)。克服这种危险性的办法不是更精确地制定总目标，而是用一组相互制约的目标引导系统的行为。当我们说“我要这个”的时候，不意味着“我只要这个，别的什么都不要”。
类似的，由于主流人工智能研究着眼于具体应用，系统的目标一般应当保持不变。但像纳思这样的通用人工智能研究是要搞清“智能”、“认知”、“思维”、“意识”等等到底是怎么回事，因此会注重于系统的适应性、灵活性、创造性、自主性等特征，这些都需要目标体系随系统的经验而演化。请注意这种演化不是任意或随机变化。尽管纳思在某一时刻的目标体系不能仅被先前的初始目标所决定，但仍被系统的初态(包括植入目标、本能反应等)和经验(包括输入目标、观察数据等)所共同决定。它不会无缘无故就以“称霸世界”为目标的。
正是这种目标体系的可塑性使得我们可以通过教育来保障智能系统的安全性。不论设计如何小心，我们也没办法完全预料一个通用智能系统在未来的全部行为，因为我们不能准确地知道它在未来会面对什么样的情况。对纳思这样的系统，我们应当通过教育和社会化来逐渐塑造其目标体系，而不是试图在设计过程中解决所有问题。人也是一样的：我们不能期望通过基因工程完全解决犯罪问题。对这一点我在《人工智能危险吗?》中已有分析。
总而言之，智能系统不能决定自己的初始目标，但会根据经验构建自己的派生目标，而其行为是被这些目标共同决定的。在这方面计算机和人类并无本质区别，所以人工智能系统完全可以达到人类水平的自主性。我们应当对由此而来的机会和挑战有所准备，而简单地断言“人工智能归根结底是实现设计者目标的工具(所以没什么新鲜的)”或“人工智能的目标是我们完全无法影响的(所以必定毁灭人类)”都是错的。
