【51CTO.com原创稿件】我们脸上每天会浮现出各种表情,快乐、悲伤、恐惧、平静、愤怒、惊讶、蔑视、厌恶等等,这些表情充斥在我们的日常生活之中。可曾想过,这些表情可以通过情绪识别技术被提取出来,再应用到我们的日常生活当中,服务于我们的生活:当你在商场里进出不同的店面,看到满意的商品时快乐、遇到态度不好的服务员时厌恶;亦或者,孩子在幼儿园时,遇到喜欢的老师时高兴、遇到新奇的事物时惊讶等等,这些面部表情都会被摄像头记录下来,然后经过情绪识别记录下来,再应用到商场和教学管理当中。
基于情绪识别技术场景构建应用框架
蜜枣网与微软亚研院合作,将情绪识别应用到了上述的商场及教育教学场景中,蜜枣网自身聚焦于应用研究,即如何把基础研究投入实际应用中,解决实际的问题。蜜枣网着重于视频数据处理、场景分析算法和行业深度应用方面,也取得了相应的研发专利,而情绪智能则由微软亚研院提供技术支持。
情绪识别的理论算法分析
对于情绪识别技术主要有三个核心环节:人脸检测、人脸表情特征提取、人脸表情的情感分类。其中最主要的是人脸表情特征提取。
根据表情发生时的状态和处理对象来区分,人脸表情特征提取算法大体分为基于静态图像的特征提取方法和基于动态图像的特征提取方法。其中基于静态图像的特征提取算法可分为整体法和局部法,基于动态图像的特征提取算法又分为光流法、模型法和几何法。光照、年龄、图像分辨率等因素都会影响人脸表情识别的性能,有效提取特征是核心问题。
基于静态图像的特征提取方法
1、整体法
从整体上看,人脸肌肉的变化造成了面部器官的明显形变,因此出现了从整体角度考虑表情特征的人脸表情识别算法。所运用的算法主要包括主成分分析法(Principal Component Analysis,PCA)、独立成分分析法(Indenpent Component Analysis,ICA)和线性判别分析法(Linear Discriminant Analysis,LDA)。
·主成分分析法是一种无监督方法,其优点是不需要待处理样本的类别信息,同时可以有效地处理高维数据。缺点是该方法处理数据时产生的协方差矩阵维数过高,影响了算法的运行。
·独立成分分析法属于无监督方法,可以提取像素间隐藏的信息,并且适合非高斯分布的数据处理,但是算法的实时性有待提高。
·线性判别分析法属于有监督方法,其特点是充分地保留了样本的类别结构。
2、局部法
面部肌肉的纹理、皱褶等局部形变所蕴含的信息,有助于精确地判断表情的属性。局部法的经典方法是Gabor小波法和局部二值模式(Local Binary Pattern,LBP)。
·Gabor小波法在特征提取方面具有良好的视觉特性和生物学背景。但是该算法需要计算不同尺度和方向的小波核函数,由此产生的高维特征向量既不利于算法的实时处理,又在一定程度上造成了信息冗余。
·局部二值模式可以更有效地提取人脸表情特征,具有旋转不变性和灰度不变性等优点,但高维直方图影响了算法的实时性,而且该算法产生的二值数据容易受到噪声的干扰。
基于动态图像的特征提取方法
动态图像的表情特征主要表现在人脸的持续形变和面部不同区域的肌肉运动上。目前基于动态图像的特征提取方法主要分为光流法、模型法和几何法。
1、光流法
早期的人脸表情识别算法多采用光流法提取动态图像的表情特征,这主要在于光流法具有突出人脸形变、反映人脸运动趋势的优点。连续帧之间的光流场和梯度场,分别表示图像的时空变化,实现每帧人脸图像的表情区域跟踪;然后通过特征区域运动方向的变化,表示人脸肌肉的运动,进而对应不同的表情。
2、模型法
人脸表情识别中的模型法是指对动态图像的表情信息进行参数化描述的统计方法。常用算法主要包括主动形状模型法(ASM)和主动外观模型法(AAM),ASM反映的是图像的局部纹理信息,而AAM反映的是图像的全局纹理信息。
3、几何法
几何法是在动态图像的特征提取中应用最广泛的方法。动态图像通过人脸特征点在每帧中的变化反映了表情的完整过程,为几何计算提供了丰富的信息;而且从动态图像中提取的几何特征对应着人脸的不同表情区域,这些特征适合用于动作单元的识别。
情绪识别的实际应用场景
零售业中情绪识别
蜜枣网的情绪识别系统通过在商场的出入口、客流热区等地安装摄像头,利用人脸识别技术进行客流去重得到真实的客流量,从而分析男女比例和年龄比例,捕捉冷热区和客流动线。利用情绪识别技术捕捉消费者的满意度、兴趣偏好和体验变化等个性化的数据,从而进行消费分层管理和精准营销。
幼教中的情绪识别
蜜枣网研制的锐智眼幼儿安全成长智慧分析系统,专注于解决幼教中的教学效果评估和幼儿成长与安全分析。通过分析儿童的情绪反馈,对教学效果进行全面、长时间的分析,为课程和教师评估提供了客观指标,辅助幼儿园管理者更好地了解园内情况,进行更有效的管理。同时,为每个儿童记录个性化档案,陪伴幼儿安全健康地成长。
采访的***,蜜枣网技术团队负责人田楚杰表示,微软加速器·北京第11期不仅为蜜枣网提供了技术上的支持,也在渠道拓展方面提供了帮助,并且通过微软加速器认识了很多致力于创新的校友企业。在品牌宣传和市场活动推广方面,微软加速器·北京第11期也提供了展台对蜜枣网进行了全方位的展示,并且在融资渠道的对接、优质客户推荐方面也提供了帮助,使蜜枣网可以获得这次难得的打磨自己的机会。