文|小鱼
编辑|知文
微表情是一种快速短暂的人脸表情，其主要特征是 持续时间短暂，强度低。
01
尽管这些表情经常发生在人们的脸上，人们发现这种表情大概持续1/25秒并且很难被隐藏起来。 这就是说由于微表情持续时间的短暂，绝大部分的人都很难察觉到微表情的存在。
通过大量的心理学研究表明微表情很难被隐藏，是人们真实内心世界的表达。微表情的识别，检测和分析在人机交互，国家安全，测谎等领域有着广泛的应用。
但是由于微表情的特点，即使是一个经过专业训练的人也很难识别出微表情的发生，这限制了微表情在实际场景中的应用。 所以我们需要找到一种有效的微表情检测和识别的方法。
由于微表情分类较为复杂且机器分类的可靠性不高，微表情检测更具有应用价值。在心理学领域，人类的情感分析已经从多方面的角度进行了深入的研究。
人脸的表情是人类表达自身的情感的一种非常重要的手段，人脸表情可以反映出人们的内心世界以及人们的精神状况。
自从1872年，英国科学家达尔文先生发表了 《人与动物的表情》这篇著作以后。心理学家和行为学家们开始广泛地关注这一领域。
人类表情分析的研究工作开始于十七世纪，并且吸引了心理学家，艺术家，行为学家的关注。
到目前为止，人类对于人脸表情的研究已经具备了一套完整的理论基础。 人们将人脸表情主要分为2种。 一种为宏表情，另一种为微表情。
在英国科学家达尔文提出人脸表情很长时间以后， Haggard和Isaacs在1966年通过观察一段心理疾病治疗的视频中， 首次发现了微表情。 几年以后，另外的学者也在观察了一段抑郁症患者的采访录像中发现了微表情。
研究发现，抑郁症的患者在实验视频中一直表现出快乐，以此来掩盖住她的自杀计划。通过对录像每一帧进行检查，研究人员发现其中2帧中该患者表现出一个强烈的痛苦表情。
所以，微表情是一种持续时间在1/25到1/5秒之间的无意识的表情。通过更多的心理学研究， 人们发现微表情通常发生在一种高度紧张的状态下，试图隐藏或者压抑某种真实的情感。
相对于宏表情，微表情主要有以下三个特点：
持续时间短暂；强度低； 难以被隐藏起来。
02
正是由于微表情的这些特征，微表情可以准确地反映出人们真实的内心世界，这使得微表情在很多领域有广泛的用途。
随着心理学对微表情研究的深入，人们发现微表情可以给人们提供 更丰富、更准确 的情感信息。
微表情这些重要特征使得微表情在人们的日常生活中有着广泛的应用。有相关研究表明，现代人类的精神健康正在面临的巨大的挑战。
微表情成为了一种重要的诊断工具。例如在精神健康的诊断当中，医生可以通过病人的微表情来判断病人的真实心理世界，从而更准确的判断出病人的健康状况。
通过METT的系统性训练，医学系的学生在临床治疗上有更好沟通交流技能。由于 微表情的发生往往是为了掩盖真实的内心世界， 所以微表情在测谎，刑侦，国家安全等领域有着重要的应用价值。
目前，微表情也开始融入到人们的生活工作中。NBA的密尔沃基雄鹿队雇佣了表情分析专家 Dan Hill，通过分析队员的微表情来帮助球队在选秀中挑选出更适合团队发展的球员。
综上所述， 微表情在很多领域上都有着重要的应用价值，这使得微表情的分析成为了心理学领域的重要研究方向。
但是由于微表情持续时间短暂和强度低等特征，使得微表情的很多心理学的研究成果没有办法直接应用到实际应用当中去。
所以，寻找一种有效的微表情的检测和识别的方法是目前微表情研究领域所需要解决的难点。
国内外研究现状
伴随着计算机科学的发展，人脸的表情分析以及微表情的分析成为了计算机视觉和模式识别研究领域的热点内容。
美国心理学家Ekman是研究面部表情，情绪和微表情的先驱人物，同时也是杰出的心理学家。Ekman的团队对微表情的研究做出了重大的贡献。
近年来，由于微表情有着重要的应用价值，各国的科学家和研究机构都开始对微表情的研究进行了探索。
目前来说，微表情的分析和研究主要分为两类方法：
一种方法是基于心理学的相关理论，通过对人的训练来提高人对微表情的识别率；另外一种方法则是使用计算机视觉和模式识别的相关方法来进行微表情的识别和检测。
通过对微表情提取相关的计算视觉特征，设计并训练相对应分类器完成对微表情识别的相关工作。
近年来计算机视觉技术的迅速发展，使得微表情的相关应用成为了可能。
03
基于心理学的微表情研究
近年来，心理学家们开始尝试开发能够自动分析和识别微表情的工具。在这个方向上的进一步研究使得开发一种能够量化人脸的面部参数的工具成为需求。
面部动作编码系统的诞生使得人们能够在参数化的条件下定量地研究微表情。
面部动作编码系统主要是基于人脸的面部肌肉以及面部肌肉的运动对面部表情的影响。随着微表情识别的研究的深入，心理学家们开始研究一套能够帮助人们提升对微表情识别的工具。
2002年，Ekman首次提出了微表情训练工具，即METT。 通过使用METT对参与者进行训练，受训者在一段时间的训练以后可以提高30%~40%的微表情的识别率。
但是由于微表情持续时间短暂，强度低，出现在面部的局部区域等特点。即使通过了专业的训练，受训者对微表情的识别率也只达到47%。
研究者们将METT应用到了微表情相关的应用领域，包括临床医学，政治分析以及国家安全等领域。由于对微表情的识别率不高，研究人员需要构建一套有效的微表情识别系统来将微表情的研究成果应用到相关的领域。
基于计算机视觉和模式识别的微表情研究
最近几年，伴随着计算机视觉和模式识别的发展，计算机科学家们开始关注微表情的识别和检测。 由于心理学家的前期工作发现人眼对微表情的识别能力有限，无法满足人们对微表情应用的要求。
如何使用计算机视觉的特征来描述微表情，并设计高效的模式识别系统来识别微表情，成为了相关领域研究者们的热门话题。
由于人脸图像在计算机视觉领域是热点研究内容，对于人脸表情的识别和检测已经有了成熟的算法。 而微表情持续时间非常短暂，强度低等特点使得人脸表情识别的相关算法很难应用到微表情领域。
总体来说，基于计算视觉的微表情识别的方法分为两大类， 基于局部特征的方法和基于全局特征的方法。
基于局部特征的方法将人脸区域分割成了多个子区域，例如人脸的前额，嘴部，左脸颊和右脸颊等部分。 在这之后，特征提取的工作在人脸的各个子区域内进行。 设计分类器对特征进行分类得到最后的识别结果。
研究人员通过计算计算光流特征来得到人脸在整个视频当中的运动特征。
通过计算出的运动特征得到每张图像的张力特征，并设定相应的阈值来区分微表情。 基于全局特征的方法则是将整个人脸作为一个整体，从整个人脸中提取特征并设计相应的模式识别系统来区分微表情的种类。
04
有研究人员在2011年提出了一 种 全局特征 的方法进行微表情的识别。
他们首先在每一个微表情的视频序列的第一帧使用主观形状模型检测个体人脸坐标点。通过人脸坐标点来对齐矫正视频中的人脸图像，从而获得了统一标准化的微表情视频序列。
由于每段微表情的视频长度都不同，他们采用了基于时间域的插值模型，将微表情的视频的长度进行归一化。
随后，归一化的微表情视频被看作是三维空间上动态纹理的变化。并使用LBP-TOP特征在微表情视频中提取特征。
最后，支持向量机，多核学习和随机森林等分类器对提取出来的LBP-TOP特征进行分类。
同样也是全局特征的方法，其他研究者提出了使用Gabor特征和GentleSVM相结合的放来进行微表情的识别。
首先对每一帧视频中人脸进行检测并裁剪到统一的大小。Gabor特征用来提取人脸的特征并采用了Genlteboost算法进行特征选择，并使用SVM对微表情进行分类和识别。
随后，在2014年有相关学者提出了判别张量子空间与极限学习相结合的方法。
一段微表情视频被看作是一个三阶的张量，通过判别张量子空间的方法提取特征并且升高成了一个高维度的张量。最后使用极限学习的方法对微表情进行识别。
通过以上的总结，研究人员发现不论是基于局部特征的方法还是基于全局特征的方法都存在不足之处。
第一，这些方法没有很好的考虑人脸关键点定位的问题。 人脸关键点的定位在微表情识别中起到关键性的作用。
精确的人脸关键点定位能够使人脸对齐和人脸区域分割更加准确。尤其是在复杂环境下，人脸关键点定位的小误差都会导致识别和检测的性能大幅下降。
第二，绝大多数的方法使用的都是图像的纹理特征，例如Gabor特征，LBP-TOP特征。 这些特征并不能直观地对微表情产生的机制进行解释。
不论是人脸的表情还是微表情都是由于人脸肌肉运动所导致的。
第三，上述的方法都是研究微表情的识别，即对微表情进行分类。
微表情是一种很难被发现的表情，在现有的模式识别系统中对微表情进行分类会加大计算量。
除此以外，由于微表情的特点使得建立一个自发的微表情数据库难度很大。现有的微表情数据中，每一类的表情的样本数量分布不一致，这就导致微表情识别算法的准确性大大降低。
人脸关键点的定位在很多以人脸为主的计算机视觉的任务当中起到关键性的作用，例如人脸识别，人脸验证及表情分析。
尽管在这个领域已经取得了很大的进步，但人脸关键点定位还需要面临很多挑战。
05
人脸关键点定位主要面临以下方面的问题：
（1） 光照的影响，由于拍摄照片的角度和光照强度不同，导致不同的人脸图片亮度不均。
（2） 人脸表情的影响，表情的变化使得人脸的形状以及五官的形状发生了变化，导致人脸关键点位置发生了变化。
（3） 人脸姿态的影响，通常的人脸图片都是正脸，拍摄角度的不同产生了不同角度的人脸，例如不同角度的侧脸。
（4） 人脸遮挡的影响，现实中的人脸图片往往伴随着不同的装饰，发型和化妆等情况，这些都会影响到人脸关键点定位的准确度。
综上所述的这些因素影响了人脸关键点定位算法的准确度，也是学术界，工业界急需解决的问题。
传统的人脸关键点定位的方法主要分为两大类，一种是基于回归方法的，另一种是基于模板拟合的方法。
回归方法通过使用图像的特征和回归计算的方式来得到关键点的坐标。模板拟合的方法建立出一个人脸模型去拟合一幅人脸图片。受到前人学者们工作的启发，研究人员认为 人脸关键点定位的任务受到人脸其他属性的影响。 例如，人脸的姿态，表情等因素。
所以，我们使用的方法是基于多任务学习的模式对深度卷积神经网络进行训练。1998年，Caruana提出了多任务学习的概念。
多任务学习是一种通过同时学习相关的多个任务，来提升主要任务算法泛化能力的机器学习算法。多任务学习在很多计算机视觉的任务中被证明有效。
最近几年，深度学习尤其是深度卷积神经网络成为了一个非常有效的计算机视觉的算法。
1968年有外国学者通过对哺乳动物大脑视觉皮层细胞的研究发现视觉神经信号不是直接传送到大脑内部的。
生物视觉信号的传导和处理的过程是一个 “分层” 的结构，从视网膜依次传送到外膝体，视觉皮层和大脑更高级的处理组织。
通过这一“分层”结构的处理，整个视觉系统完成了光电信号的转换以及视觉信号分层语意的解析和处理。
通过了一系列的研究，他们提出了感受野的概念。感受野是指在某个特定的位置的刺激会激起神经元反应的区域。
上个世纪九十年代初，国外研究人员Lecun受到了这些生物学发现的启发提出了一种新的神经网络结构。 这种神经网络也是就是我们熟知的卷积神经网络。
最初卷积神经网络在很多场景下得到了应用，但是很快被支持向量机和其他方法超越。
相比传统的方法，卷积神经网络在ImageNet上取得 了显著的成果，使得图像识别的错误率有了明显的下降。
和传统的计算机视觉的方法相比，卷积神经网络可以自动从原始的输入图片中提取分层的特征，这给计算机视觉和模式识别等领域带来了巨大的变革。
在人脸识别，图像分割，物体检测等领域，基于深度卷积神经网络的方法成为了最好的方法。研究人员基于多任务学习的方式训练深度卷积神经网络完成人脸关键点的定位工作。
人工神经网络
在计算机视觉和模式识别当中，人工神经网络是从信息处理的角度来对人脑的神经系统进行模拟和抽象，建立出相应的模型系统。
更一般的来说，人工神经网络指的是“人工神经网络学习”，这是一个多学科的交叉领域。通过对生物学的神经网络的研究和启发，1943年McCulloch和Pitts提出了基础的神经元模型。
在这个神经元模型当中，神经元单元可以接收来自外部m个神经元传来的输入信号，这些信号通过带权重的连接与神经元的阈值进行比较并通过神经元的激活函数产生最后的输出。