【51CTO.com原创稿件】自然语言处理一直是人工智能发展道路上需要攻克的重要难关，说简单一些其实就是教机器理解人类的语言并可以表达出来。
关于小冰与小娜
人工智能一直被人们津津乐道，今年尤其特别多，这是笔者目前最直观的感受。说到这个，就不得不提及微软小冰和微软小娜两款产品，这也是人们普遍关心的。如今的小娜已经拥有超过1.4亿活跃用户，在数以十亿级计的设备上与人们进行交流，所覆盖的语言已经有十几种语言，包括中文。
总体来看，小娜主要是通过手机和智能设备介入，让人与电脑进行交流，采用了“用户发布命令、小娜加以执行”的模式。例如，过去经常路过某个地方买牛奶，在下次路过的时候，她就会提醒你，问你要不要买。笔者理解，其实微软小娜的出现让被动地“听话”进化成为主动的“提醒”，而且从原来的手机，到微软现在所有的产品，包括Xbox和Windows，都得到了应用，这一点还是挺神奇的进步。
与微软小冰的互动对话
相比之下，小冰就会“随意”很多。起初人们并不理解小娜出现了，小冰存在的意义。其实就笔者看来，闲聊这件事儿也并不是很容易就做到的，只有试图将各种语言习惯以及知识模块进行融汇贯通，才可以实现一种自由聊天的模式，他并没想帮忙解决什么问题，纯粹就是希望尽可能的“像人一样”和你交谈罢了，不得不说这也是一种难度不小的创新。现在小冰已经覆盖了三种语言，分别是中文、日文、英文，同时也累积了上亿用户，很多人都会乐此不疲地和他聊天。
无论是小冰的闲聊，还是小娜的任务执行，微软背后都有一个叫做LUIS(Language Understanding Intelligent Service)的平台，提供了用户的意图理解能力、实体识别能力、对话的管理能力等。2016年，微软***执行官萨提亚在微软开发者大会上大会上提出了CaaP(“对话即平台”)的概念，认为继图形界面的下一代就是对话，它会对人工智能、计算机设备带来一场新革命，小冰和小娜就是微软在做CaaP得时候主要的体现者。
探究小娜与小冰的技术内涵，微软亚洲研究院副院长周明表示，***层就是通用聊天，需要掌握沟通技巧、通用聊天数据、主题聊天数据，还要知道用户画像，投其所好;第二层是信息服务和问答，需要搜索的能力，问答的能力，还需要对常见问题表进行收集、整理和搜索，从知识图表、文档和图表中找出相应信息，并且回答问题，我们统称为Info Bot;第三层涉及到面向特定任务的对话能力，例如定咖啡、定花、买火车票，这个任务是固定的，状态也是固定的，状态转移也是清晰的，那么就可以用Bot一个一个实现。通过调度系统，用户的意图就是调用相应的Bot 执行相应的任务，用到的技术就是对用户意图的理解，对话的管理，领域知识，对话图谱等。
这些年，微软在探索
微软对于这项技术的探究可以追溯到1998成立微软亚洲研究院之始，那么自然语言处理对于微软有多重要呢?
微软通过技术、产品让每个个体发挥巨大的潜能，具体体现在以人工智能为核心，重塑生产力和业务流程，构建智能的云平台，创造个性化的服务等诸多方面。宏伟的目标终究需要具体的产品来实现，与此相对应的机器翻译、知识图谱、Bot Framework、智能客服等应运而生。
同时，从创造更加个性化的计算和重塑生产力的角度出发，类似于必应搜索、微软小娜(Cortana)、微软小冰等产品的出现，也确实从商业与服务的背后体现了自然语言处理技术的重要性。如今18年过去了，微软亚洲研究院不但在人才培养以及校企合作等方面有了显著的提高，更重要的是在科学研究、产品研发上取得了不小的进步。
微软亚洲研究院副院长周明博士
自然语言处理技术作为微软的“重头戏”，业界不免好奇丛生。近日，笔者应邀前往微软大厦参加微软自然语言前沿技术分享会，与微软亚洲研究院副院长周明博士以及其他研发人员一同探究其中的奥秘。
微软一成立就做了很多关于机器翻译方面的探究，后期开始着手基于规则、基于实例、基于统计的翻译等，到了2007年基于统计的翻译系统上线，提供免费的对外服务。据了解，2012年微软亚洲研究院跟总部研究院合作完成了实时语音翻译系统，同年在天津举行的21世纪的计算大会上，当时微软研究院的领导人Rick Rashid博士面对3000名观众现场成功演示了此项前沿技术，堪称机器翻译尤其是语音翻译领域的重要里程碑。
三年后，微软对外公开发布了Skype Translator，作为集成微软的语音技术和翻译技术的产品，目前已经可以为十种语言提供语音到语音的翻译，如今的微软在自然语言处理技术方面又有了新的进步。周明表示，首先在语音翻译上全面采用了神经网络机器翻译，并拓展了新的翻译功能，称之为Microsoft Translator Live Feature(现场翻译功能)，可以做到在演讲和开会过程中实时自动在手机端或桌面端将演讲者的话翻译成多种语言。
我们了解到，为达成这种精准的现场翻译功能的实现，最关键的技术就是对源语言的编码，体现不同词汇翻译，不同作用的注意力模型。周明说：“我们又持续做了一些工作，引入了语言知识。因为编码仅仅是把源语言和目标语言看成字符串，没有体会内在词汇之间的修饰关系。我们把句法知识引入神经网络编码、解码中，就是传统的长短时记忆LSTM，这是模型，从而得到了更佳的翻译。”微软研究院的相关研发人员介绍，这款新系统目前可以支持多人、多语言、跨平台的实时翻译，可以做到10种语音以及60多种文本的毫无压力的转换。
笔者试想一下，在通常情况下一个国际会议的现场，大多数观众确实会因为演讲者与自身的语言不通就会不愿意参加，丧失机会;或者演讲者在演讲时为了照顾观众而使用非母语做演讲，会使演讲效果大打折扣。为了解决这样的问题，微软演讲翻译还确实是一个十分接地气的产品，对于英语不好的笔者来讲是个巨大的福音。
一路介绍而来，微软的自然语言处理技术当真这么牛?人们肯定想知道具体的数字吧?现在人工阅读的正确率做到了多少呢?答案是82%左右。如今的微软亚洲研究院的结果排名世界***，在76%左右，与人类水平还差5分左右，这个确实很高了。据悉，为了推动机器阅读的发展，微软也推出了自己的一个新的测试题，叫做MARCO，其中贡献了必应搜索很多的精华部分，因为这个数据集刚推出不久，提交的队伍还不是那么多，微软在测试题方面还是处于领先状态的。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
