情感分析或情感人工智能，在商业应用中通常被称为意见挖掘，是自然语言处理(NLP)的一个非常流行的应用。文本处理是该技术最大的分支，但并不是唯一的分支。情绪AI有三种类型及其组合。它们都面临着各自的挑战，目前都处于不同的发展阶段。在本文中，笔者将简要介绍这三种类型以及它们在实际应用中的挑战。
文本情感分析
作为NLP的一个子集，文本分析和书面意见挖掘是迄今为止最简单和最发达的情绪分析类型。它们的需求量大，发展历史长，也是企业和公共部门最常采用的技术。
基本的情绪分析，尤其是用于商业用途的，可以概括为将句子、段落、帖子或文档分为消极、中性或积极三类。其中，更复杂的情绪和态度处理、意义提取、意图分类和基于语言学的情感分析也越来越受欢迎。
自动情绪分析通常是通过监督式深度机器学习、基于词典的非监督过程或两者的结合来实现的。
我们有许多现成的数据集，如社交媒体、各种评论平台和公开的问答服务。爬取受欢迎的网站(在受允许的情况下)来提取新数据也很受欢迎，Twitter和亚马逊是特别受欢迎的选择。
视觉情感分析
作为多媒体情感分析的一部分，与基于文本的分析相比，视觉情感AI在开发和商业整合方面还远远不够。
当前情感分析应用的一个好例子是数字图像存储库中通过情感标识符(“幸福”、“爱”、“喜悦”、“愤怒”)进行视觉内容搜索，以及自动的图像和视频标签预测。即将出现的应用是出于教育、政治、文化、安全及其他目的，对人们情感的自动理解。
目前，视觉/文本分析，以及图像注释和伴随文本的分析仍然是机器学习进程的主要来源，旨在创建用于视觉情感分析的人工智能。
视觉情绪分析的数据也可以来自社交媒体:来自Flickr、Twitter、Tumblr的图片;公共托管视频平台(YouTube等)
得益于许多著名的带注释的静态图像数据集，我们可以很容易地对面部表情进行解释和分类。复杂或抽象的图像以及视频和实时视觉的情感分析是一个更大的问题，特别是遇到缺少具体标签，或强行做出的和不准确的表情等这些情况时。
复杂的视觉情感分析需要更高层次的抽象、文化知识，以及对主体性、概念和线索的理解。获得已标记的数据集是很难的，为学习提取和预测所表达的含义这一目的而创建模型也是很难的。
尽管最近的研究让我们看到了很多希望，但更重要的是它们首先也表明了这样一个事实：在我们发明视觉测谎仪和威胁检测安全系统，能够结合下意识的面部表情和肢体语言来分析潜在的危险情况之前，还有很长的路要走。
音频情感分析
语音聊天机器人正在成为我们生活中越来越重要的一部分，比如客户服务电话中常听见的某种“固定”的响应或问候。这些语音助手要么已经在使用，要么即将使用情感分析技术，虽然还远非完美。
从语音语调和环境中检测压力、沮丧和其他情绪是机器已经能够完成的任务之一。理解和模拟韵律和调性的能力是目前语音处理和合成的一个重要部分。
现有的用于音频情绪分析的情绪检测方法通常与语音识别相结合。这种分析的参数是一组可检测的声学特征：音调、音强、节奏、频谱系数等等。
慕尼黑开源情感与情感识别工具包(openEAR)是最受认可的情感分析工具包之一，能够提取4000多个特征(56个声学低级别描述符中的39个功能)。
情绪分析和情感AI的主要挑战是什么?
情感AI开发者仍然需要克服几个挑战。
现在机器学习的一个普遍概念是：情感人工智能“训练”的成功总是取决于输入数据的质量。更大、更好、更干净的数据集对于避免“垃圾in、垃圾out”的情况是必要的，由这一情况引起的挑战如：
文本情感分析面临的挑战：无法识别双重含义、笑话和影射;无法解释语言和非母语语音结构的区域差异。
例如：对于情感AI来说，处理书面演讲中的讽刺可能是一项艰巨的任务，可能会存在对意义和意图的歪曲理解。虽然社交媒体通常是机器学习算法挖掘意见和意图的来源，但其中的语言无可否认是特定的，不一定是现实生活中的真实演讲。“AI聊天机器人在推特上呆了一天就变成了种族主义者”这类臭名昭著的事件很滑稽，但仍然很常见。
视觉情感分析的挑战：无法区分真实的和强迫的或夸张的情绪表达;不包括肢体语言;处理概念和抽象图像的问题。
例子：情感和情绪分析的一个显著应用是安全和防卫应用，例如，视觉测谎仪。到目前为止，与算法感知水平相关的问题在于理解真实情感的领域，或者缺乏真实情感的领域。虽然最近有一些成功的研究和发展，旨在识别真实和虚假的面部表情，但这些研究和发展仍然是相对小规模的，非常细分的，比如只涉及微笑时)。
语音情感分析的挑战：不考虑各种口音、地区语言模式、个人发音习惯等等。
许多非母语人士在说第二语言时仍保留着口音。在其他方面，口音可以表现为过渡调性、语速和停顿变化，而这些变化并不是第一语言所特有的。我们需要对其进行明确的解释，否则这些转变可能导致对情绪和意图的误解。
在我们开发更好的聊天机器人、智能助手、家庭和商业环境中的机器人向导，以及最终实现自我意识、移情和真正理解人类表达的人工智能的道路上，这些问题都是需要重点克服的。
