当今的人工智能(AI)系统离复制真正的人类智能还很远。但是，他们在识别数据模式和挖掘见解方面肯定会做得更好，在某种程度上要比我们更好。目前，人工智能模型可以识别图像，通过聊天机器人与人交谈，驾驶自动驾驶汽车，甚至在国际象棋中赢得了我们的青睐。但是，您知道吗，训练和构建这些模型所涉及的能源和功耗非常惊人?换句话说，训练人工智能是高碳足迹的高能耗过程。
因此，减少这种能源消耗将对环境产生积极的连锁影响。此外，它还将为企业带来其他好处，例如减少其碳足迹并更接近与碳有关的目标。在继续建设节能人工智能或绿色人工智能之前，我们必须了解为什么人工智能如此耗电?
训练神经网络
以一个神经网络模型为例。神经网络是一种强大的机器学习类型，它通过镜像人脑来进行自我建模。由节点层组成的神经网络试图通过模仿人的大脑功能来识别数据集中的潜在关系。每个节点相互连接，并具有关联的权重和阈值。假设节点的输出值高于指定的阈值，则表明该节点已激活并准备将数据中继到神经网络的下一层。
神经网络的训练包括运行前向通过，其中输入通过它，并在处理输入后生成输出。然后，后向遍历涉及使用前向遍历中接收的错误，通过需要大量矩阵操纵的梯度下降算法来更新神经网络的权重。
2019年6月，来自马萨诸塞州大学阿默斯特分校的一组研究人员发表了一篇关于他们的研究的论文，他们在其中评估了训练四个大型神经网络所需的能源消耗。这些神经网络包括：Transformer、ELMo、BERT和GPT-2，它们分别在单个GPU上进行了一天的训练，并测量了整个过程的能耗。
这些神经网络之一，即BERT使用了来自英语书籍和维基百科文章的33亿个单词。根据KateSaenko的《对话》一文，BERT在训练阶段不得不读取大约40次此庞大的数据集。为了进行比较分析，她提到一个五岁的普通孩子学会说话，到这个年龄可能会听到4500万个单词，比BERT少3000倍。
在马萨诸塞大学阿默斯特分校的研究中，研究人员发现，对BERT进行训练曾经使一名乘客在纽约和旧金山之间往返旅行时产生了碳足迹。该团队通过将该数字乘以每个模型的原始开发人员报告的总训练时，间来计算出训练每个模型的总功耗。碳足迹是根据美国电力生产中使用的平均碳排放量计算的。
实验研究还包括培训和开发称为神经建筑搜索的调整过程。该技术涉及通过耗费大量精力的反复试验过程使神经网络的设计自动化。此额外的调整步骤用于提高BERT的最终精度，估计产生了626,155吨的二氧化碳，大约等于五辆汽车的总寿命碳足迹。相比之下，美国人平均每年会产生18.078吨的二氧化碳排放量。
GPU饥饿
借助如今强大的GPU(图形处理单元)，人工智能的发展成为可能。这些GPU通常会消耗大量电能。根据NVIDIA的说法，GPU耗散的最大功率等于250W，是IntelCPU的2.5倍。同时，研究人员认为拥有更大的人工智能模型可以带来更好的准确性和性能。这与游戏笔记本电脑的性能相似，尽管游戏笔记本电脑的功能比普通笔记本电脑高，但由于性能高而变得更快。如今，人们可以在几分钟内租用具有数十个CPU和强大GPU的在线服务器，并快速开发强大的人工智能模型。
根据位于旧金山的人工智能研究实验室OpenAI的研究，从机器学习发展的早期到2012年，该技术所需的计算资源数量每两年翻一番(这与摩尔的处理器能力增长定律相提并论)。但是，2012年之后，构建一流模型的计算能力轨迹平均每3.4个月翻一番。这意味着新的计算要求会转化为人工智能带来的负面环境影响。
现在，专家们还认为，构建大规模的人工智能模型并不一定意味着在性能和准确性方面会有更好的ROI。因此，公司可能必须在准确性和计算效率之间进行权衡。
尖峰神经网络
美国橡树岭国家实验室的一个研究小组之前已经展示了一种有前途的方法，可以通过将深度学习神经网络转换为尖峰神经网络(SNN)来提高人工智能能源效率。SNN复制了大脑的神经触发机制，因此具有大脑的许多功能，例如能量效率和时空数据处理。美国橡树岭国家实验室团队通过引入随机过程来加深深度加标神经网络(DSNN)，该过程增加了诸如贝叶斯深度学习之类的随机值。贝叶斯深度学习是通过将随机值引入神经网络来模仿大脑如何处理信息的尝试。通过这一动作，研究人员可以知道在哪里执行必要的计算，从而降低能耗。
目前，SNN被吹捧为神经网络的下一个迭代，也是神经形态计算的基础。去年，荷兰国家数学和计算机科学国家研究中心(CWI)的研究人员以及荷兰埃因霍温的IMEC/Holst研究中心的研究人员已经成功开发了一种用于加标神经网络的学习算法。
