人工智能不再准备着有朝一日改变世界，而是正在改变世界。在我们买入新的一年和十年之际，VentureBeat邀请了人工智能领域最敏锐的一些人，重新审视了2019年取得的成就，并展望了机器学习在2020年将如何成熟。
每个人都有对未来一年的预测，但这些人——在人工智能领域拥有权威的个人——正在塑造今天的未来，他们珍视科学追求，他们的经历为其赢得了信誉。尽管一些人预测在诸如半监督学习和神经符号方法等子领域会有进步，但几乎所有ML领域的杰出人士都表示，在2019年基于Transformer的自然语言模型方面取得了巨大进步，并预计在面部识别等技术方面会继续存在争议。他们还希望看到人工智能领域发展出比准确性更有价值的东西。
Soumith Chintala
PyTorch的负责人、首席工程师和创建者
不管你如何评价，PyTorch是当今世界上最受欢迎的机器学习框架。 PyTorch是2002年引入的Torch开源框架的衍生产品，于2015年可用，并且在扩展和库中稳步增长。
今年秋天，Facebook发布了带有量化和TPU支持的PyTorch 1.3，以及深度学习可解释性工具Captum和PyTorch Mobile。还有诸如PyRobot和PyTorch Hub之类的东西，用于共享代码并鼓励ML从业者支持可重复性。
今年秋天在PyTorch开发大会上，Chintala在与VentureBeat的一次对话中表示，他在2019年的机器学习中几乎没有突破性进展。
“实际上，我认为我们没有开创性的东西……基本上是从Transformer开始的。我们的ConvNets在2012年达到黄金时段，而Transformer在2017年左右。这是我的个人看法。”他说。
他继续称DeepMind的AlphaGo在强化学习方面的贡献是开创性的，但是他说，这些成果很难应用到现实世界的实际任务中。
Chintala还认为，机器学习框架(如PyTorch和谷歌的TensorFlow)的发展已改变了研究人员探索思想和开展工作的方式，这些机器学习框架在当今的ML从业者中广受欢迎。
他说：“从某种意义上说，这是一个突破，它使他们移动的速度比以前快了一两个数量级。”
今年，谷歌和Facebook的开源框架引入了量化，以提高模型训练的速度。在未来的几年中，Chintala希望PyTorch的JIT编译器和Glow等神经网络硬件加速器的重要性和采用率“爆炸式增长”。
“借助PyTorch和TensorFlow，你已经看到了框架的融合。出现量化的原因，以及其他一系列较低级别的效率，是因为下一场战争是框架的编译器——XLA，TVM，PyTorch拥有Glow，许多创新正在等待发生。”他说，“在接下来的几年中，你将看到……如何更智能地量化，如何更好地融合，如何更有效地使用GPU，以及如何自动为新硬件进行编译。”
像大多数其他行业领导者那样，Chintala预测AI社区将在2020年之前将更多的价值放在AI模型性能上，而不仅仅是准确性，并开始将注意力转向其他重要因素，例如创建模型所需的权重，如何向人类解释输出，以及AI如何更好地反映人们想要建立的社会类型。
“如果思考一下过去的五、六年，我们只是关注准确性，而原始数据如英伟达的模型是否更准确? Facebook的模型更准确吗?'”他说， “我实际上认为2020年将是我们开始(以更复杂的方式)进行思考的一年，如果你的模型……没有良好的互操作性机制(或满足其他标准)，你的模型是否比现在精确3%并不重要。”
塞莱斯特·基德(Celeste Kidd)
加州大学伯克利分校的发展心理学家
塞莱斯特·基德(Celeste Kidd)是加州大学伯克利分校基德实验室的主任，她和她的团队在这里探索孩子们的学习方式。他们的见解可以帮助神经网络的创建者，这些人正试图以一种与养育孩子差不多的方式来训练模型。
她说：“人类婴儿没有被标记的数据集，但它们管理得很好，对我们来说重要的是要了解这种情况。”
让基德在2019年感到惊讶的一件事是，神经网络创建者的数量随随便便救贬低了自己或其他研究人员的工作，因为他们无法做婴儿可以做的事情。
她说，当你将婴儿的行为平均化时，您会看到有证据表明他们了解某些东西，但他们绝对不是完美的学习者，而这种谈话对婴儿的能力描绘得过于乐观。
她说：“人类婴儿很棒，但他们犯了很多错误，而且我经常看到人们随便进行的许多比较，都是把婴儿行为在人口层面上理想化了。” “我认为，对于目前了解的内容与你接下来想要了解的内容之间的联系，人们很可能会越来越有辨别力。”
在人工智能中，“黑匣子”这个词已经存在多年了。它曾经用来批评神经网络缺乏可解释性，但基德认为2020年可能意味着神经网络不可解释的观念的终结。
她说：“黑匣子的论点是虚假的……大脑也是黑匣子，我们在理解大脑如何工作方面取得了很大进步。”
在揭开这种对神经网络的认识的神秘面纱时，基德研究了像麻省理工学院- IBM沃森人工智能实验室(MIT-IBM Watson AI Lab)执行主任奥德·奥利瓦(Aude Oliva)这样的人的工作。
“我们当时在谈论这个问题，我说了有关该系统是黑匣子的事情，她合理地谴责了我，说他们当然不是黑匣子。当然，你可以将它们分解并将它们拆开，看看它们如何工作并对其进行实验，就像我们为理解认知所做的一样。”基德说。
上个月，基德在神经信息处理系统(NeurIPS)会议上发表了开幕式主题演讲，这是世界上最大的年度AI研究会议。她的演讲重点关注人脑如何固守顽固的信念，注意力系统和贝叶斯统计。
她说，信息传递的“舒适区”介于一个人之前的兴趣和理解与他们感到惊讶的东西之间。人们倾向于较少接触那些过于令人惊讶的内容。
然后她说，不存在中立的技术平台，于是她把注意力转向内容推荐系统的制造商如何操纵人们的信念。为了追求最大程度的参与而构建的系统会对人们如何形成信念和观点产生重大影响。
基德在演讲中谈到了机器学习中男性的误解，即与女性同事独自一人会导致性骚扰指控并结束男性职业。她说，这种误解反而会损害女性在该领域的职业。
由于在罗切斯特大学发表有关性行为不端的言论，基德与其他女性一起被评为2017年度“年度人物”，这些女性帮助实现了我们现在所说的“平等对待妇女运动”。当时，基德认为大声疾呼将结束她的职业生涯。
她希望在2020年看到人们越来越意识到技术工具和技术决策对现实生活的影响，并拒绝认为工具制造商对人们的使用行为不负责任的观点。
她说：“我听到很多人试图说'‘我不是真理的审判人’来为自己辩护。” “我认为必须提高对这是不诚实立场的认识。”
“在一个社会，尤其是作为使用这些工具的人们，我们真的需要直接意识到随之而来的责任。”
杰夫·迪恩(Jeff Dean)
谷歌AI总监
迪恩领导Google AI已有近两年时间，但他已经在谷歌工作了二十年，是谷歌早期搜索和分布式网络算法的架构师，也是Google Brain的早期成员。
迪恩上个月在NeurIPS上与VentureBeat进行了交谈，在那里他就ASIC半导体设计的机器学习以及AI社区应对气候变化的方式进行了演讲，他说这是我们时代最重要的问题。在关于气候变化的讨论中，迪恩讨论了AI可以努力成为零碳行业以及AI可以用来帮助改变人类行为的想法。
他预计到2020年，多模式学习领域将取得进展，这是一种依靠多种媒体进行训练的AI，而多任务学习则涉及旨在一次完成多个任务的网络。
毫无疑问，2019年最大的机器学习趋势之一是基于Transformer的自然语言模型的持续增长和扩散，此前模型Chintala被称为近年来人工智能最大的突破之一。 谷歌于2018年开源了基于Transformer的模型BERT。根据GLUE排行榜，今年发布的许多性能最高的模型(例如Google的XLNet，微软的MT-DNN和Facebook的RoBERTa)都基于Transformer。公司发言人告诉VentureBeat，XLNet 2将于本月晚些时候发布。
迪恩指出了已经取得的进展，他说：“ ...我认为整个研究线程在实际产生机器学习模型方面非常富有成效，[现在让我们]做的机器学习模型比过去能够完成的复杂得多。但是他补充说，仍有增长空间。“我们仍然希望能够创建更多情境的模型。像现在这样，BERT和其他模型可以很好地处理数百个单词，但不能作为处理上下文的10,000个单词。因此，这是[有趣的方向。”
迪恩说，他希望少强调一些最新技术，而倾向于创建更强大的模型。
Google AI还将努力推进新的举措，例如Everyday Robot，这是一个于2019年11月推出的内部项目，旨在制造能够在家庭和工作场所完成常见任务的机器人。
Anima Anandkumar
英伟达机器学习研究总监
Anandkumar在担任AWS首席科学家后加入了GPU制造商英伟达。在英伟达，人工智能研究在多个领域进行，从医疗保健的联合学习到自动驾驶，超级计算机和图形学。
英伟达和Anandkumar在2019年的重点领域之一是强化学习的仿真框架，这些框架越来越受欢迎且成熟。
在2019年，我们看到了英伟达的Drive autonomus驾驶平台和Isaac机器人模拟器的兴起，以及从模拟和生成对抗网络或GAN生成综合数据的模型的兴起。
去年还迎来了AI的兴起，例如StyleGAN(一种可以使人们分辨不出自己看到的是计算机生成的人脸还是真实的人的网络)和GauGAN(可以用画笔生成风景的网络)。 StyleGAN2上个月首次亮相。
GAN是可以模糊现实界限的技术，Anandkumar认为，它们可以帮助AI社区尝试解决的主要挑战，例如抓握机械臂和自动驾驶。
Anandkumar还希望未来一年通过迭代算法、自我监督和训练模型的自训练方法取得进展，这些模型可以通过对未标记数据进行自我训练来改进。
“我认为各种不同的迭代算法都是未来，因为如果你只做一个前馈网络，那么鲁棒性就成为问题。”她说：“如果你尝试进行多次迭代，并根据所需的数据类型或精度要求对迭代进行调整，那么实现这一目标的机会就更多了。”
Anandkumar看到了2020年AI社区面临的众多挑战，例如需要与各领域专家一道创建专门针对特定行业的模型。决策者、个人和AI社区也将需要解决代表性问题，以及确保用于训练模型的数据集能够涵盖不同人群的挑战。
她说：“我认为[面部识别问题]很容易掌握，但是在很多[其他领域]……人们没有意识到使用数据存在隐私问题。”
Anandkumar说，面部识别得到了最大的关注，因为很容易理解面部识别如何侵犯个人隐私，但是AI社区在2020年还面临许多其他道德问题。
“我们将在数据收集方式和使用方式方面进行越来越严格的审查。这种情况正在欧洲发生，但是在美国，我们肯定会看到更多这样的情况，而且出于正确的理由，我们会看到更多这样的情况，比如国家运输安全委员会和联邦运输管理局。”她说。
在Anandkumar看来，2019年的一大惊喜是文本生成模型的发展速度。
“ 2019年是语言模型之年，对吗?现在，我们第一次在段落长度上达到了更加连贯的文本生成，这在以前是不可能的，但现在已经很好了。”Anandkumar说。
2019年8月，英伟达推出了Megatron自然语言模型。Megatron拥有80亿个参数，是全球最大的基于Transformer的AI模型。 Anandkumar说，她对人们开始将模型表征为具有个性或字符的方式感到惊讶，并且她希望看到更多针对特定行业的文本模型。
“我们还没有达到产生对话的阶段，这种对话是互动的，可以跟踪并进行自然的对话。所以我认为，到2020年，在这个方向上将会有更多认真的尝试。”她说。
例如，开发用于控制文本生成的框架要比开发用于识别人或对象的图像的框架更具挑战性。文本生成模型还可能面临例如为神经模型定义事实的挑战。
最后，Anandkumar说，她很高兴看到基德在NeurIPS上的演讲获得了起立鼓掌，并且被机器学习社区中越来越成熟和包容的迹象所鼓舞。
“我觉得现在是分水岭。” 她说， “一开始甚至很难做些小改动，然后大坝就破裂了。我希望是这样，因为在我看来，我希望保持这种势头，并进行更大的结构改革，并使所有小组，这里的每个人都蓬勃发展。”
达里奥·吉尔(Dario Gil)
IBM研究总监
吉尔领导的一组研究人员积极为白宫和世界各地的企业提供咨询服务。他认为，2019年的重大飞跃包括围绕生成模型的进步，以及生成可信语言的质量不断提高。
他预测，在降低精度的体系结构上，更有效的培训将继续取得进展。更高效的AI模型的开发是NeurIPS的重点，IBM Research在此引入了具有8位精度模型的深度学习技术。
他说:“我们用现有的硬件和GPU架构来训练深度神经网络，其效率仍然很低。”因此，对这个问题进行根本性的反思是非常重要的。我们必须提高人工智能的计算效率，这样我们才能做得更多。”
吉尔引用研究表明，对机器学习训练的需求每三个半月翻一番，这比摩尔定律所预测的增长快得多。
吉尔也对AI如何帮助加速科学发现感到兴奋，但是IBM Research将主要专注于机器学习的神经符号方法。
吉尔希望AI从业者和研究人员将专注于准确性以外的指标，以考虑生产中部署的模型的价值。将该领域转向构建受信任的系统，而不是把准确性放在首位，这将是继续采用AI的中心支柱。
“社区中有些人可能会继续说，‘不用担心，只要提供准确性。没关系，人们会习惯这个东西有点像黑匣子，”或者他们会提出这样的论点，即人们有时不会对我们做出的某些决定产生解释。我认为，非常重要的一点是，我们要集中社区的知识力量，在此方面做得更好。人工智能系统不能成为关键任务应用程序的黑匣子。”
吉尔相信要摆脱这样的观念，即只有少数机器学习向导才能做到AI，以确保更多的具有数据科学和软件工程技能的人采用AI。
他说：“如果我们把它作为一个神秘领域，那就是AI的领域，只对从事这方面研究的博士开放，它并不能真正促进人工智能的应用。”
在来年，吉尔对神经符号AI特别感兴趣。 IBM将寻求神经符号方法来增强诸如概率性编程之类的功能，其中AI将学习如何操作程序以及可共享其决策背后原因的模型。
他说:“通过采用这种混合的方法，一种新的当代方法，通过这些神经符号方法，把学习和推理结合在一起。在这种方法中，符号维度嵌入到学习程序中。我们已经证明，你可用所需数据的一小部分来学习。”“因为你学了一个程序，你最终得到了一些可解释的东西，并且因为你有了一些可解释的东西，你得到了一些更可信的东西。”
他说，公平性，数据完整性和数据集选择等问题将继续引起人们的广泛关注，“与生物识别技术有关的任何事情也将如此”。面部识别得到了很多关注，但这仅仅是开始。语音数据以及其他形式的生物识别技术将越来越具有敏感性。他继续引用了哥伦比亚大学教授Rafael Yuste的话，他从事神经技术研究，并正在探索提取视觉皮层上神经模式的方法。
吉尔说：“我以这个例子为例，所有与身份、人的生物特征以及人工智能在分析方面取得的进步，将继续处于前沿和中心位置。”
除了神经符号和常识推理(MIT-IBM沃森实验室的一项旗舰计划外)，吉尔于2020年表示，IBM Research还将探索AI量子计算，以及AI模拟硬件，而不仅仅是降低精度的架构。
总结
机器学习正在继续塑造商业和社会，VentureBeat采访的研究人员和专家看到了一些即将出现的趋势:
随着Transformers推动了巨大的飞跃，自然语言模型的进步是2019年的主要故事。在2020年寻找更多基于BERT和基于Transformer的模型的变体。
人工智能行业应该寻找方法来评估模型输出的准确性。
诸如半监督学习，机器学习的神经符号方法之类的方法以及诸如多任务和多模式学习之类的子领域可能会在明年出现。
与生物统计数据(如语音记录)相关的伦理挑战可能会继续引起争议。
量化之类的编译器和方法可能会在诸如PyTorch和TensorFlow之类的机器学习框架中作为优化模型性能的方式而流行。
