自然语言处理NLP开发有哪些值得关注的开源工具?

开源 自然语言处理
智能语音助理、聊天机器人是时下人工智能的热点和突破口,但是并非每家公司都具备谷歌、Facebook、亚马逊、苹果等公司的经济和技术实力来开发NLP应用,尤其是难度最大的会话型NLP应用。

 智能语音助理、聊天机器人是时下人工智能的热点和突破口,但是并非每家公司都具备谷歌、Facebook、亚马逊、苹果等公司的经济和技术实力来开发NLP应用,尤其是难度最大的会话型NLP应用。

所幸,目前NLP的开源技术已经足够强大,您可以轻松地“在巨人的肩膀上”,只需一个小型的专业团队,借助合适的平台方法就能开发出令人惊叹的,行之有效的NLP应用程序。

[[246706]]

下表概述了当下一些值得研究的开源工具:

 

其次,即使有如此丰盛的精品技术资源触手可及,开发一个前端NLP(一个“会话”,这是大多数人在想到人工智能时所想到的)仍然需要远见和坚持。因为在您看到一些高级功能的回报之前,它往往需要大量的前期投资。

后端NLP更容易,并提供更直接的投资回报率

基于NLP的业务改进不一定需要具有会话前端。后端驱动或语言分析项目通常是在短期内使用NLP见效最快,成本效益最好,最高回报的方式。此类项目的开发往往只需要两到三人的团队,在几个月内完成。

Cloudera机器学习总经理Hilary Mason在最近的Strata会议的主题演讲中展示了后端NLP的一个很好的例子。Mason解释了Cloudera如何使用NLP降低其呼叫中心成本并提高客户满意度。他们从呼叫中心采集了记录呼叫的统计样本,并将其转录为文本。他们对该语料库进行了文本分析,寻求与特定问题和问题解决步骤相关的语音模式。然后,他们将基于此分析结果的预测模型部署到其呼叫中心系统中。当客户打电话时,基础算法识别出语音模式,并在客户与客户交谈时主动向客户服务代表推荐可能的解决方案。

会话型NLP成本更高,需要战略情怀和长线投入

如果你致力于会话式NLP(或AI),希望机器与人类的交互能够达到人类之间的那种流畅和模糊性,这在技术上具有极大的挑战性,成本也很高。我们不是在聊聊天机器人,聊天机器人其实是一个非常简单的程序,可以跟踪特定任务的相对结构化的对话,并处于某些预定义的环境,如Facebook Messenger。而会话AI是完全不同的,与Alexa类似,它们无处不在(它们随处可见),可以处理多个应用程序(也称为意图),并且可以处理各种响应。他们还可以迅速切换场景 – 比如从提供有关今天天气的信息到预订餐厅。

目前已经存在多个开源平台(上图),允许您的团队在合理的时间范围内构建功能性(可能算不上完善)的AI,并且成本可以提供正回报。像苹果,谷歌,微软和亚马逊这样的公司每年都投入了数亿美元,并将地球上一些最聪明的博士投入到先进的NLP接口中。而这些开源库使普通公司和团队也能凭借3-4人的团队,用大约一年时间开发出简单会话AI的基础平台,总计投入约为500,000美元。这些早期平台具有一些简单的场景对话能力,但不会预先分析用户(这需要具备安全系统的接口),并且没有先前用户会话的记忆。以此平台为起点,每开发一个新的,简单的场景对话的成本约1万美元。

企业应当将会话型NLP的基础平台作为一种长线投资,每一个新增的会话功能都会摊薄整体平台的成本。例如,允许人们对丢失/遗忘的密码或其他简单的IT问题进行自助服务可以节省每年至少一个IT运维人员的成本。通过在Excel中使用IRR功能的一些快速计算,并假设该角色每年花费100,000美元,快速计算该“复杂”应用程序的单年ROI约为260%,这显然值得做。成本只是我们用于确定会话功能开发优先级的一个因素,对于一些重要战略意义的会话功能,有时我们甚至应当在没有明确的,或极高的投资回报率的情况下进行投资。

责任编辑:武晓燕 来源: IT经理网
相关推荐

2020-02-25 12:00:53

自然语言开源工具

2020-02-25 23:28:50

工具代码开发

2024-04-24 11:38:46

语言模型NLP人工智能

2021-05-17 09:00:00

自然语言人工智能技术

2021-05-18 07:15:37

Python

2019-03-25 22:03:40

开源自然语言NLP

2023-08-04 10:18:15

2021-06-01 12:46:26

人工智能机器人 机器学习

2020-11-12 18:57:14

摘要PythonNLP

2018-05-29 18:28:08

自然语言开源开发

2017-06-29 13:02:54

大数据自然语言NLP

2018-07-08 07:08:07

2022-03-29 09:58:15

自然语言处理人工智能技术

2020-04-24 10:53:08

自然语言处理NLP是人工智能

2021-05-13 07:17:13

Snownlp自然语言处理库

2021-02-22 11:38:59

深度学习人工智能机器学习

2024-12-06 12:19:43

自然语言NLP人工智能

2017-10-19 17:05:58

深度学习自然语言

2017-11-14 19:19:07

人工智能自然语言处理百度

2024-02-05 14:18:07

自然语言处理
点赞
收藏

51CTO技术栈公众号