OpenAI最近对不同时期***型的AI试验所消耗的计算量进行了调查分析。结果发现，跟6年前相比，AI训练所需的计算量整整增长了30倍，相当于每3.5月就翻番。这种指数增长速度是惊人的，但是考虑到硬件投入、电耗支出等开支(比如目前规模***的AI试验AlphaGo Zero的训练开销估计达1000万美元)，这种趋势还能持续多久呢?
Ryan Carey通过分析得出结论说不会超过3.5-10年。但是哪怕这种趋势还能继续延续这么久，AI也能突破一些实现一般人工智能(AGI)所需的计算量。
我们知道，过去几年AI试验使用的算力要比之前多得多。不过就在上个月，OpenAI进行的一项调查对这种发展速度有多快做出了一些初步估计。通过对AlphaGo Zero与AlexNet进行比较，他们发现现在***型的试验是6年前***型试验规模的300000倍。此间每年的***型试验规模都呈现出指数性增长，每3.5月就翻番。
按照这种AI计算趋势，试验的增长率之快令人诧异，值得进行一些分析。本文将探讨两个问题。***个是如果试验规模还是增长得这么快的话，很快就会变得承受不起，所以这种趋势将渐近结束。除非经济被彻底重塑，否则这种趋势顶多只能维持3.5到10年，具体要看开支水平以及计算成本如何变化。第二个问题是如果这种趋势能再维持3.5年，则用于AI试验的计算量就会超过一些有趣的里程碑。尤其是，一次试验所用的计算将超过利用尖峰神经元模拟人脑 18年思考所需的总量。大体而言，我们可以说这种趋势将超过达到成人智力水平所需的水平，如果赋予同等效率算法的话。在(1)、(2)节里，我将相应探讨这些问题，而在(3)节，我会讨论一下这一分析的限制并且权衡这一工作将如何影响AGI的预测。
纵轴：AI训练所需的计算量，单位千亿次浮点运算
1、这个AI计算趋势还能维持多久?
要想弄清楚这种AI计算趋势在经济上还能持续多久，我们需要知道三件事情：试验成本的增长率，目前试验的成本，以及未来一次试验可以承受的***开支。
***型的试验每3.5个月规模就翻番(每年大概增加一个数量级，也就是10倍。时间测算=LOG(10,2)*3.5/12=0.9689年，约为1年)，而每计算单位的成本大概是每4-12年下降一个数量级(长期趋势是每4年成本改进10倍，而近期趋势是每12年成本改进10倍)。所以***型试验的成本每1.1-1.4年就增加一个数量级。
目前规模***的试验是AlphaGo Zero，其成本可能是1000万美元。
当然，试验规模能到多大要取决于谁来做。最有钱的玩家大概是美国政府。之前，美国用了GDP的1%来进行曼哈顿项目，而实施阿波罗计划期间往NASA投入了~0.5%的GDP。那我们就假设类似地投入到AI试验的***开支也能占到GDP的1%，也就是2000亿美元。鉴于一个数量级的增长所需时间为1.1-1.4年，而初步试验规模为1000万美元，那么按照AI计算趋势预测在5-6年时间内我们就将看到成本达2000亿美元的试验。那么鉴于未来(美国)经济状况跟目前类似，届时将是这股AI计算趋势的终结。
我们还可以考虑一下如果政府不参与的话这种趋势能持续多久。鉴于私营企业规模较小，其遭遇经济门槛也会快一点。其中***的是科技公司：Amazon和Google目前的研发预算大概是每年200亿美元，那么我们可以假设政府以外***的独立试验是200亿美元。则私营板块大概能跟上AI计算趋势的时间为政府的3/4，也就是约3.5到4.5年。
另一方面，特定硬件的研发也可能令计算成本变低，因此导致趋势维持更久一点。如果一些新硬件让计算便宜1000倍并且突破性价比摩尔定律的话，则这种经济门槛还能维持得久一点，大约还能持续3-4年。
为了让AI计算趋势维持真正长的时间(超过10年)，经济产出必须以每年增长一个数量级的速度发展。这的确是非常极端的情况了，但也不是不可能，主要一点是要看某些极其强大的AI技术能不能带来大规模的经济收益。
当然，重要的是要清楚这些数字都是上限，所以并不能排除AI计算趋势更快停止(比方说如果AI研究被证明经济性不如预期的话)的可能性，不管是突然中止还是慢慢停下来。
小结：AI计算快速发展的趋势难以为继，基本上无法超过3.5到10年。
2、AI计算趋势什么时候有可能突破AGI相关的里程碑?
第二个可以得出的结论是，如果AI计算趋势继续当前的节奏的话，就会突破某些有趣的里程碑。如果AI计算趋势继续3.5-10年，则***型试验的规模预计将达到10^7-5×10^13 Petaflop(千万亿次浮点运算)/日，那么问题就是在该水平之下能达到哪些里程碑。哪些里程碑可能会给AGI的发展做出贡献仍然是个争议话题，不过这里有3个候选：
- 模拟儿童期间人类大脑所需的计算量
- 模拟人脑下围棋，直到Alphago Zero成为超人所需局数所需的计算量。
- 模拟人脑进化所需的计算量。
人类儿童的里程碑
对于创造出人工智能所需的计算量，一个自然的猜想是人脑所用的计算量。假设AI有(相对于人类)：
- 类似的效率算法来学习执行不同任务(各有不同的计算和数据)
- 内置到它的架构里面的类似知识，
- 类似的数据
- 足够的计算去模拟人类大脑运行18年，以足够细的颗粒度去捕捉大脑的智力表现。
然后，AI应该就能够像一位18岁的青少年一样解决类似范围内的问题了。
模拟大脑一秒钟所需的每秒浮点运算数量有很多测算。AI Impact收集的数据得出的中位数是1018 FLOPS(用霍奇金-哈斯利Hodgkin-Huxley方程来模拟)，范围在3×10^13FLOPS(Moravec的估计)与1×10^25FLOPS(模拟代谢组)之间。运行这样的模拟18年相当于700万Petaflop。(范围在200-7×10^13 Petaflop/s之间)。
那么按照最短的估计，比如Moravec的估计，我们的计算已经足以超过人类儿童的里程碑了。而按照中位数测算以及Hodgkin-Huxley测算的话，我们将在3.5年内到达里程碑。
AlphaGo Zero游戏里程碑
关于人类儿童里程碑的一个异议是AI系统目前比人学得慢(“slower-learners”)。AlphaGo Zero下了250万局围棋才变成超人，也就是说如果一局需要1小时的话就得下300年的围棋游戏。我们也许会问，像人脑这么复杂的东西要是运行300年而不是18年的话得要多久。答案是：为了达到这一里程碑，趋势在达到人类儿童里程碑之后还得再继续14个月。
大脑进化里程碑
一个更加保守的里程碑是模拟所有神经进化所需的计算量。2012年Shulman和 Bostrom介绍了一种办法，那就是看看模拟神经系统进化的成本。这需要模拟10^25 个神经元10亿年间的进化。Shulman和 Bostrom估计模拟一个神经元1秒钟的成本是1-10^10次浮点运算，这样的话模拟进化的总成本就是3×10^21-3×10^31Petaflop/日。这个计算量太庞大了，等到AI计算趋势结束的时候也还远远达不到。所以AI计算趋势并不能改变Shulman和 Bostrom做出的结论，即距离我们能模拟地球上的大脑进化还远着呢——哪怕开支可以快速增长也不行，这一计算里程碑需要摩尔定律再发展好几十年才可能达到。
总的说来，我们可以看到尽管大脑进化里程碑远远超出AI计算趋势之所能及，但其他的里程碑则未必。按照其中一些估计——尤其是代谢组估计的标准，人类儿童和AlphaGo Zero游戏里程碑也没法达到。但如果未来几年AI计算趋势继续下去的话，人类儿童与AlphaGo Zero游戏里程碑就能实现。
3、讨论与限制
根据这一分析，自然就要提出一个合理的问题：为了预测AGI，我们最应该关注哪一个里程碑呢?这个问题的不确定性太大了，不过我想形成AGI要比大脑进化里程碑容易些，但是那种AGI可以在AlphaGo Zero游戏里程碑达到之前或者之后实现。
***点是银为大脑进化里程碑假设算法发现的过程必须由AI自己执行。但对我来说人类设计师以毫无计算成本(或者相对于模拟进化所需成本不值一提)的方式提供适当算法(或者大部分)似乎更有可能。
第二点，评估AGI相对AlphaGo Zero游戏里程碑的难度要复杂一些。有人认为AlphaGo Zero游戏里程碑使得AGI看起来太简单了，但我们必须考虑到教会机器一般智能需要比教会机器下围棋有更多的训练例子。为了执行范围很广的各类任务，有必要考虑更大范围的依赖性以及了解一个更加复杂的从动作到实用工具的映射。这件事可以进一步探索——通过比较各种已解决的AI问题的样本效能，然后基于一般智能的复杂程度要高多少来推断AGI的样本效能。然而，还有一些原因导致AlphaGo Zero游戏里程碑也许让事情变得太困难了。首先，AlphaGo Zero并未使用任何已有知识，而AGI系统可能是需要这个的。如果我们看看当初的AlphaGo的话，它所需要的局数相对于AlphaGo Zero来说本来是应该少一个数量级的，而更一般的学习任务可能还能进一步提升效能幅度。其次，通过模拟人脑的做法可能会有1到多个数量级的保守性内置。基于目前的硬件配置来模拟人脑来执行其计算功能可能效率会相当低：也即是说，人脑也许只使用所需的其中一小部分的计算来模拟。所以很难判断达到AlphaGo Zero里程碑对于AGI来说究竟是太早还是太晚了。
还有一个原因可以更加确保AGI的实现也许也许6年以上的时间。我们只需要看看AI计算趋势然后问问自己：AGI跟AlphaGo Zero的关系是不是像AlphaGo Zero跟AlexNet(编者注：AlexNet是2012年诞生的)那样近呢?如果我们认为***对的差异大过第二对的差异的话，那我们就应该认为AGI不是6年的时间可以实现的。
总之，我们可以看到AI计算趋势是一个极其高速的发展趋势，快到经济力量(假设GDP不会出现大幅增长)在3.5到10年之内就无法跟上的地步。但哪怕还能维持几年，这股趋势的发展也已经够快了，快到可以突破某些貌似相当于AGI需求的计算里程碑。其中就包括利用Hodgkin Huxley神经元模拟人脑思考18年所需的计算量。然而，其他的里程碑在经济因素导致AI计算趋势终止前都无法实现。比方说这里的分析表明我们(至少)在几十年内都无法拥有足够的算力来模拟人脑的进化。
