【51CTO.com原创稿件】2017年7月21日-22日，由51CTO主办的以人工智能为主题的WOTI2017全球创新技术峰会在北京富力万丽酒店隆重举行。峰会期间，30+AI明星，数十场围绕人工智能主题的精彩演讲与圆桌论坛缓缓揭开面纱。除了场内的精彩演讲，场外还有专门为AI爱好者搭建的动手实验室和科技体验区，这一切都让本次大会亮点十足。
7月21日上午WOTI2017主会场，西安电子科技大学教授、中国人工智能学会副理事长焦李成先生进行了主题为《人工智能时代后深度学习的挑战与思考》的精彩演讲。以下是演讲实录，让我们先睹为快！
西安电子科技大学教授、中国人工智能学会副理事长焦李成先生
非常高兴，也感谢大会组委会的邀请。我刚才听了前面的报告，现在讲这个报告有压力，但是也有动力，什么意思呢？昨天大家都关注的一件事情，国务院下一代人工智能计划正式颁布，这个对全国人民全世界人民都是一件大事，应该说酝酿已久的人工智能2.0终于出台，但这个计划说不准，可能会在800到1500亿国家政府的投入，希望能够在10到15年时间做一点事情。另外一个，因为前一段时间，我作为人工智能学会副理事长，也一直在参与智能人工技术一级学科论证，在这个计划中间也体现了人工智能学科和人才培养相应的计划。第三个，昨天晚上，有的专家可能会收到，有的还没收到。国家基金委信息学部要成立六处，因为以前都知道有电子信息、计算机控制、光电、半导体，很综合，现在增加的六处就是人工智能处，把原来的几乎与人工智能相关的研究方向、领域都列到了六处。以后报国家自然基金，不管各类项目，包括优青、杰青、重大，都会在六处进行评审。这三件事情和我们在座每位同志都有关系。所以我说讲这件事情对我们来讲也是一个非常好的起点。为什么要讲人工智能时代的深度学习的挑战与思考？
讲这个问题也难也容易，难的是太深的我也不知道，容易的是人工智能都很热，大家都很清楚。我是三十年前开始从事这个领域的学习和研究，那个时候我大概做了将近二十年的大会报告，很少有企业参与，基本上都是学术界在做，因为很少有企业界有这样的动力，或者说有这样的成果，有这样的发展。现在从深度学习开始也仅仅只有几年时间，发展到这样，应该说没有哪个公司不参与，没有哪个公司置身事外，没有哪个大学不参与，没有哪个领域不涉及。从这个意义上讲，这个领域成为大家关注的，所以热大家也就感兴趣。但是到底这个领域应该往下怎么发展，深度和人工智能是一个什么样的关系。应该说这永远是一个值得探讨的话题，或者说现在是理论准备好了，剩下只管用；还是说理论还是要更深的发展，讲理论的人说这个理论发展不够，技术很薄弱。讲应用的人说你看我用的多好。这两个之间的认知有多大的差别，我们应该怎样理解这样的差别？
我大概从四个方面来回顾。
我们这个时代的机遇，深度的机遇，尤其是大家都在讲深度有多少年的历史，其实从国内国外来讲，也就十年的历史，前边有神经网络，没提深度，所以说也没那么热。第二，神经网络本身发展的历史很长，但是从第一个神经元的模型或者MP的模型，从神经网络的第一个学习规则算起到现在也已经有七十年的历史，从某种意义上讲，比人工智能的历史还要早十年。第三，深度学习作为人工智能领域中间大家关注的领域，现在我们应该关注哪些问题。第四，将来深度学习到底向哪个方向发展，我们做一些探讨。
第一， 深度学习现在这么热，神经网络也研究了那么多年，为啥中间有段时间没热起来呢？原因到底在哪里？其实这三件事应该说结合在一起才有基础，缺一不可。神经网络发展到现在，包括深度的基础理论，这个时代基本成熟。但神经网络的应用，尤其面向大数据，面向现有快速发展计算平台的时候，它才找到了自己的机会。所以说，大数据、神经网络新的模型或者新的算法，加上现有的能够满足深度学习和训练的高性能的计算平台，使得深度学习遇到了新的机遇。既然是基于数据的，其实我觉得对于数据的特性应该有更深的了解。我们有那么多的数据，但是了解多少？数据里包含多少黄金，期待我们去挖掘，这是一件值得探讨的事情。
同时，随着计算机技术的发展，或者集成电路技术的发展，大家都一窝蜂的GPU，每个人都知道GPU是不现实的，这个时候深度怎么算，深度怎么用，深度怎么能够进入到各个实验室、千家万户，进入到研究生的桌前，也是值得探讨的。当然，哪些人工智能的领域，哪些人工智能应用的领域，值得我们用深度去做它，也是需要探讨的。所有这些，都只是刚刚开始，而不是说已经到了非常成熟的地步，当然，这是我个人的观点。
第二， 讲到神经网络的七十年，虽然大家都很熟悉，大会组委会也一直叮嘱我给大家讲一些干货。但我想这一页是我最想讲的，神经网络发展七十年，这七十年的历史辛酸、曲折，到现在大家是在享受这七十年带来的辉煌。但是回顾过去是为了更好的把握现在，也是为了更好的创造未来。这张图里大家看到的都是所谓深度的明星，深度的热点，应该说他们对深度的学习起了非常重要的推动作用。但是不要忘了，神经网络和深度学习能有今天，起到非常重要的奠基性作用的人，这个我多花几分钟。三层神经网络，BP虽然算的很慢，但第一次表明了任意复杂的问题是可以学习的，是可以训练的，同样是可以分类、识别、推理和理解的，这件事情理论上讲是可行的，只是现在提到的真正要用到的地步，它的推广能力怎么样，它的精度怎么样，它的效率怎么样，是应用的瓶颈问题，而不是理论的瓶颈问题。
第三， Hebb学习预测，包括MP模型，第一次提出感知器的时候，那是人工智能第一次刚提出非常辉煌的时候，他第一次给出了可学习的单个神经网络模型，之后给出的模型是斯坦福大学、美国科学院的院士，他给出了一个模型，这个模型也表明了系统可以学习，现在大家普遍用的信号处理的基本算法，就是神经网络的算法。这是很辉煌的时候，由PC机的发明者提出的。这段时间神经网络发展非常辉煌，一批科学家为其奠定了很好的基础。
哈佛大学毕业的Rumelhart，也是美国后来自然科学基金会的主任，他发明了BP算法，这个人大概就一米六的个子，但蕴涵无穷的能量。按照现在的观点，他的论文不能毕业。这段时间他也很艰苦，找工作也很困难，没有基金，没有钱。到八十年代初，特别要提到的人，提到的团队，第一个是美国科学院的院士，也是物理学家，三篇文章奠定了他在科学界的地位。两篇是连续的网络模型及其神经网络的应用，也就开辟了神经网络在组合优化问题中的应用，三篇文章就奠定了他在这个领域的地位。
第四， 所以说这些人奠定了神经网络的基础。我是在八十年代中期开始接触网络，引以为自豪的中间有几个人，蔡少长（音）、汪德亮（音），包括现在在香港政府的徐雷（音），也提出了随机的算法，一批华人在这个领域当时有重要的贡献。
请记住，这一批人在不同领域，但都是九十年代神经网络的先驱，北京大学的石先生都是在做神经网络，你们做的深度识别、人脸识别就是石先生开辟的。再到后来西南交大的科研专家，上海交大的一批人，包括现在中科院的科学家，他们都是神经网络领域做的非常好的，还有东南大学，北京邮电大学等等。他们有力推动了神经网络的发展，正是因为有了他们才有了今天的发展，但那个时候很少有企业界参与，所以没有现在辉煌。但这个发展正好奠定了现在深度学习的基础。
现在的深度热，其实已持续了相当长的时间，第三次再发现BP算法，但是那个时候实现起来、应用起来大家都感觉到，关键是应用需求没有那么广，所以那时没有传播那么快。再过十年，大概是06年，才开始有这些人的出现。真正用起来是2010年左右到现在，才有这样的发展。所以我用了比较长的时间讲神经网络七十年，是为了说明深度的来之不易，而且深度是前人，这些先驱奠定的工作。应该说，那个时候我们做大会学术报告很少有企业界参与，因为没有那么多需求。
第三个，深度学习集中在什么地方，现在好像深度无处不在，好像到处都能用，好像各个都有结果。其实我想说的是，刚刚开始，看到的都只是表面上的东西，真正离解决问题还有很长远的距离。深度是能解决许多问题，深度是基于用数据，用序列，用优化的办法来达到我们所求的最优解，这是深度所需要的，深度所擅长的，也能用得上的。当然也得益于计算技术的发展，所以大家最直接看到的是AlphaGo、无人超市，亚马逊首席科学家之一就是我的学生，他在美国已经待了将近十年，他们花了四年时间做了亚马逊Go，应该说，科学无国界，深度无国界，大家用的很广。但我想说的是，看到自然语音处理、头像处理、刷脸，昨天刷脸比赛，前三名又是中国人。我想我们不要满足于这个，包括科大讯飞给总理翻译的时候，示范了深度神经网络的应用或者学习的应用。当然，真正的应用还在后面。
我想说的两个问题是现在深度没有解决的，第一个，我们现在讲的是基于大数据，小数据怎么样？大数据完了以后，即使是大数据，同样针对复杂的问题是小样本。第二个，百度、阿里、苹果、Google他们能消费得起，老百姓消费得起吗？老百姓消费不起的时候怎么样用深度做大数据，所以说这些问题都是相辅相成的。第三个，现有的基本模型，打遍天下无敌手的CNN是有很多局限的，从这个意义上讲，大家看到了它的辉煌，但我更想说不够，对于知识的处理，远远没有到位，因为想让机器和人一样做，但我们面对更多的是知识，而不是数据，这个时候想让机器像人一样能听会看会说，还能道听途说，我总觉得这中间没有知识的运用是不够的。很多专家讲过，基于数据的，基于知识的，同时小样本的问题，值得我们去探讨。在这个意义上讲，深度模型真正要达到对所有这些简易，我们讲分类识别，说实话，还没有到简易的地方，做到只可意会，不可言传，能够谈情说爱的地步，或者一个语言一个表情能够表达很深含义的地方，我们还有很长的路要走。
到现在为止，我这个名字起的有点自己把自己掉坑里。第一代深度都是大家很熟悉的，但是很初步的，我个人认为是应用的模型，又是练习的模型，真正我刚才说的这些问题要去匹配，要去求解，现在第二代深度已经能够崭露头角，其实很多模型刚刚出来。我最终的想法也是希望能够把第二代神经网络介绍的细一点。怎么样能够对感知、决策、简易、认知、推理，当然，硬件技术发展也要匹配这样的需求。我想说的是，这个时代你的数据，你的模型，你的计算，怎么样能够协调的统一，这个东西不统一，任何一个再强，你的潜力是发挥不出来的。所以说，这是我借用徐宗本老师的话，人工智能一类是模拟人脑工作机制，我想说的是模拟自然机制，另一类是快速认识，这两条路都是智能之路，深度还涉及不到。第二个是无人驾驶，所有对环境的感知，对地理的感知，这个应该怎么做，我觉得还是不够的。所以很多模型是因为数据的特性而生成的，第二类模型更面向于问题，而不是构架。无人超市只是个平台，只是个由头，真正涉及到的是更贴近大众化为老百姓服务的智能行为，智能到底有多远，我问过亚马逊Go，就是计算机识别传感器融合，深度学习，获取数据，准备训练数据，分类学习，有效识别，构成了现在的亚马逊Go。
机器翻译不用说，过去做的很热，但也有瓶颈，现在深度学习使它获得很好的发展。
深度学习第一个是数据，第二个是模型，第三个是计算，这里的模型和原来机器学习一样，同样涉及到模型选择的问题，因为任何问题不是说拿一个通用模型能解决的，如果拿一个通用模型都解决了就不用我们这些人做了。所以说，模型选择是和数据、和问题匹配的第一步，从这个意义上讲，怎么样去做，还有很长的路要走。
我们这里做了两件事，第一个是建立平台，我们建了两套，第一套是图像数据的，第二套是大数据的，深度学习平台，这个平台是以人民币为代价的。我们下一步做的两件事情，把他们全部变成硬件芯片嵌入系统，当然，这上面我们做了一些工作，没有这个平台做起来很困难，做这个也是因为我们有国家的需求。我们做的这些问题，深度卷积网络模型，这里的卷积我们考虑了两个问题，第一个是拿哪些数据，拿哪些样本送进去训练是有讲究的，人是通过声音、语言、文字、图像的这些传感器获得关键的、吸收的重要的信息，送到大脑里，用脑神经元网络进行处理，是这样一个过程。而现在的深度学习很少考虑，虽然图像数据占80%，但图像数据是怎么获得的，里面蕴涵哪些内容，哪些是关键的，哪些是不关键的，这个时候是有讲究的。
另外，从结构，从并行处理，一直到中间怎样简化数据，怎样优化目标的输出，用什么样的高效训练算法，做了一些选择。这里我们也用不同的模型进行了交叉验证，也进行了相应的比较。这个是我们做出来的，对高分辨结果做出来的结果，应该说相当清楚。这个是对下面实时跟踪的。另外两件事情，对偶范式，利用稀疏性、生成性，三个匹配做一件事情。对偶学习对深度学习有指导意义，从这个意义上讲，我对偶是受损的，但可以用来为深度服务，建立模型，建立算法服务，它会使你的问题变得简单的多，有效的多。另外一个，稀疏性，我们做了相当长的时间，中间承担了国家重大项目，例如973项目，人脑学习一定是一个learning，同时它的表示也是稀疏的。从这个意义上讲，我们深度应该关注的一个重点方向，也就是说，要像脑子像自然学的更像一点，稀疏性不可或缺。另外一个，对于现在的智能行为模拟，简单深度是不够的，面向数据，面向模型的选择，生成性、判别性、学习性和测试，必须是有机的结合在一起，才能使一个通用的理论性的算法变得更加有效，变得和真正的大数据复杂问题相匹配。
我想说的是，不是哪个模型更好，而是对数据进行必要的处理和编码，使你的模型变成有效模型的关键之一，从这个意义上讲，有好多工作要做。这是我们做的，对于各种图片之间风格的转换。我们实验室从2013年到现在，三个小团队，获得三个国家自然科学二等奖，我们高老师团队就是从照片生成图像，从素描再生成照片，相互转换的过程中间，做出了非常出色的结果。包括今年拿到国家自然科学基金二等奖，都是找到了稀疏表征的有效办法，才使得后面的学习和训练更加有效。这个我不想说了，是细的，他们的逻辑结构。
我想说的是，大家看到的是网络应用，其实遥感应用更加复杂，我们每天每个人拿着你们的微信，拿着你们的手机，滴滴打车，所有的GPS定位都是海陆空感知、处理、学习和识别，从这个意义上讲对遥感的处理是我们现在非常重要的。我们国家非常庆幸的有白斗系统，构成我们自己的有自主知识产权的系统。利用神经网络平台，不仅是高效的、并行的，同样也是分布的，这个话大家都在说，但实际上你要把它真正变成现实，变成你有效的学习、训练、分类算法，你要从模型、软件、硬件，包括数据的优化、调度和管理，不是一件容易的事情。我们大概做了这样一件事情，生成网络，生成对抗，包括能够体现感知与决策功能的强化学习模型。我觉得这件事情大家应该关注，从中国传统哲学家角度来讲，举一反三是非常重要的，我个人认为，我起了个名叫强化学习，我觉得这对它本质的内容是有感觉的，有的人就不一样。
对于未来我们怎么思考，我刚才已经讲到了。讲到未来一定讲到现在，基于数据的大家在做，但基于知识的远远不够，基于海量大数据是热了，但考虑小样本关键样本是不够的，基于通用的是够的，稀疏性是不够的，感知、推理和决策是摆在我们目前的任务，对于深度来讲，同样也是新问题。当然，围绕智能制造，围绕“互联网+”，围绕人工智能现在叫2.0或者下一代叫2.0，要做的事很多，这里不仅仅是大数据，你要把大数据变成你贴心的小棉袄，这件事情有很长的路要走。当然，模型是不够的，从这个意义上讲，未来的道路还很长，这个我想简单一点。未来能够和谐的进行感知、应用，人机共处，人做人的事，机器人做机器人的事，我觉得是非常好的一件事情，但是要做到不那么容易。包括后面用生成，用稀疏，还有很长的路要走，不是我们拿着CNN就打遍天下。
我们回顾了昨天，今天大家也共同讨论了一下，明天做啥？深度强化学习，深度迁移学习，从功能来讲，还要加上感知、学习、训练，一直到现在要加入反馈，加入知识，要把学习变成一个动力学，变成一个网络，还有很长的路，再往下一步我就不知道了。应该说我们有一个好的环境，这是建立大系统，也有好的团队，希望大家多交流。因为最近是连着的，包括前面的英特尔，包括阿里，包括华为，大赛我们都拿了很多冠军，这些都是用深度学习和机器学习做的。这是刚拿的华为冠军，智能盲杖，还有眼控轮椅和手控轮椅，我们把深度落在实处，大家可以简单看一下这个盲杖。
这些工具是实时的，也是用深度网络做的，包括我们最近做的眼控和手控，智能轮椅，至少对大家的健康做点贡献。我就讲这么多，谢谢大家。
51CTO记者将持续为您带来WOTI2017全球创新技术峰会前方精彩报道，敬请期待！
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
