人脸的表情可以说是一门世界通用语，不分国界、种族以及性别，也可以说所有人都有着通用的表情。而通过识别人脸表情可促进对人心理状态和情感的理解。随着计算机技术的发展，人机交互的概念越来越深入人心，人们越来越追求更为方便的技术和工具。因此，越来越多的人希望将两者结合起来，发展出一种新的技术。诚然，目前人脸识别技术已经在现实应用中得到普及，但面部表情识别技术的研究还在进行中。不同于一般的人脸识别，表情识别(FER)是更深入的研究，它人工心理理论和人工情感研究的组成部分[1]，同时也是计算机视觉,机器学习,人工智能等领域的重要研究方向[2][3]，甚至在心理分析、临床医学、车辆监控以及商业领域都有很广泛的应用[4]。由此，我们可以看出表情识别设计的领域更多，需要考虑的事物也更多，同时，方向和角度也会更多。
目前，关于表情识别的主流或者说大方向的研究都有一些共同点，比如将人脸所反映的基本感情设定为愤怒、厌恶、恐惧、快乐、悲伤、惊讶和蔑视（当然，理论上人脸能表达更多的感情）[5]。同时表情识别的第一步毫无例外都是先找出人脸，然后进行预处理，特征提取，感情分类等一系列操作。针对这些步骤，我想可以做一下大致介绍。
首先我们也应该注意到，目前很多方法都是基于静态图像的，而人们最终追求的必然是通过动态的表情变化来分析情感。对于人脸检测技术，当今世界较为受重视的方法是将人脸区域看作是一种模型，使用大量的人脸与非人脸样本进行训练，构造分类器，最后通过判断被测图像中所有可能区域属于哪一类模型以实现人脸的检测。当然也有针对彩色图像通过根据图像的色度信息，建立肤色模型，分割出肤色区域的方法以及基于启发式模型的方法：首先抽取几何形状、灰度、纹理等特征，然后检验它们是否符合人脸的先验知识，常采用变形模板或灰度模板匹配。其实很多情况下，这部分就包含了表情识别的预处理[6]。这些方法的大部分具体应用都是针对图像的，而考虑到动态变化时，我们可以从微表情即一种特殊的面部微小动作来入手逐步到更长时间的表情综合判断[7]。除此以外，与表情无关的变化，如照明、头部姿势等等条件也可能造成表情识别甚至是最开始的人脸识别的失败，因此也有很多人研究了在非正面的情况下尽最大努力的判断人脸表情的方法[8]。
预处理、特征提取以及感情分类虽然是三个步骤，但大部分情况下都是联系紧密的，因此可以一起论述。目前，主流的方法都是基于深度学习。而神经网络更是主流中的主流。但就算是同一类方法，在不同的思考方式引导下也会产生不同的效果。例如，同样是利用卷积神经网络：考虑到由于人脸表情之间的差别很细微，因此为了提高卷积神经网络对人脸表情特征提取能力及其识别精度，可以把连续卷积引入到卷积神经网络模型中优化网络权值,构建SOM网络进行预学习，最后将最优学习结果的神经元用于初始化[9]。同样，综合考虑到神经元的特征、学习规则和网络的拓扑结构三个方面的问题，也可以通过采用固定权值的Gabor小波的卷积层和采用支持向量机的全连接层算法并运用匹配生长规则结合起来构造一个用于对人脸面部表情进行识别和分类的卷积神经网络构架[10]。 此外，除了卷积神经网络之外，也有学者介绍深度置信网络(DBN)理论基础的发展，并对比分析深层结构DBN与浅层网络结构的差异，全面介绍了深度学习模型DBN, 深入分析DBN的构建与实际应用，为研究人员提供改进DBN的思路,以期在未来将其运用到更宽广的新兴领域中[11]。也有学者在认真学习了他人的网络结构之后提出可以结合五种网络结构的3D卷积方法，即基于伪彩图的卷积神经网络( PCNN)、图像序列的3D外观的卷积神经网络(3DANN)、基于3D几何的卷积神经网络(3DGNN)、并行3D外观和几何的卷积神经网络(3DAGN)以及为了增加表情峰值图像信息在3DAGN并行网络基础增加PCNN网络，设计的联合帧内帧间信息的卷积神经网络( DPAGN)[12]。同样，基于3D模型的研究方法也不止一种。脸部形状和人物运动的多样性也是面部表情自动分析的最大挑战之一。针对这个难题，有学者提出构造可以描述表达强度（expression intensity）随时间变化的特征（feature），同时对人和所表达的类型不变。表现适应整体表达轨迹的多点动态加权组合。所提出的特征与用于表达强度估计的最先进的方法进行比较，其表现优于后者。并且提出的特征可以用于揭示面部表情中人的特定差异以及用来识别基于动作单元标签的脸部视频序列中的局部变化。同时，这个特征也对噪声和异常值具有很强的鲁棒性，使其适用于各种面部运动分析应用[13]。与此相似，也有学者关注了位置不变的FER即通过在任意姿态下捕捉的人脸图像识别或授权个体表情来执行FER，并提出了一种基于不同姿态和表情的端到端学习模型，用于同时进行人脸图像合成和位置不变表情识别，为此，相关学者对分类器采用了一种深度建模的方法，该方法保证了在每一层，在保持人脸表情识别任务的判别信息的同时，特征对干扰因素的不变性越来越强[14]。此外，还有根据生成模型的中间层残留的面部残余表情学习表情识别方法等等许多方法值得我们研究[15]。
随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及，人脸表情识别技术也在经历前所未有的发展，相关的讨论从未停歇。目前，近年来FER在人机交互、安全、机器人制造、自动化、医疗、通信和驾驶领域得到了广泛的关注，成为学术界、工业界甚至是人类学界的研究热点。
引用文献：
[1] 宫玉娇. 面部表情识别方法研究综述[J]. 产业与科技论坛,2016,15(13)
[2] 杨晓龙 闫河 张杨. 人脸表情识别综述 来源:《数字技术与应用》2018
[3] 黄建;李文书;高玉娟.人脸表情识别研究进展.计算机科学.2016
[4] 徐琳琳, 张树美, 赵俊莉 基于图像的面部表情识别方法综述 青岛大学
以上是毕业论文开题文献，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
