【学术论文】基于肤色与人脸运动相结合的自动表情识别算法研究

摘要： 

基于肤色与人脸运动相结合的自动表情，对其识别算法进行研究。通过RGB将图像转为YIQ颜色空间，在YIQ中第I维中进行图像数据的提取，在二值图像中将背景和肤色分割出来。采用Pareto优化算法进行人脸表情特征的选取，算法计算量少，构结简单，运行速度快，能对小角度人脸肤色、人脸面部表情变化、人脸旋转、人脸面部存在遮挡物等情况准确检测和跟踪。实验表明，对于人脸小角度转动，该算法能较好适应；对于人眼的状态，该算法不受影响；对于丰富的面部表情变化和不同的肤色均能更好地适应，具有一定的稳定性。

0 引言

近年来，随着计算机技术的日益提高，人脸实时识别系统发展很快，一般被广泛运用在监管、检索等相关领域[1]。但在现阶段，人脸识别技术依旧存在缺陷，在实际应用方面受到一定的限制。在人脸识别系统中，人脸检测属于重要的组成部分，因此检测部分具有非常关键的作用，人脸检测系统的检测算法非常多，可以归纳为两大类：第一类检测算法是基于像素特征，而像素特征包括轮廓、肤色等；第二类检测算法是基于生物特征，生物特征包括图像中像素间的微观特征，包括像素的特征矩阵、均值等，相应算法包括神经网络、Ada Boost等[2]。

人脸肤色与运动识别指的是在图像序列中，对某个人脸的肤色信息、大小变化、运动轨迹的过程进行确定[3]。基于运动信息、肤色信息的方法具有较快的实现速度，但肤色信息要求的背景颜色分布较严格，误识现象较多，识别率较低，人脸运动信息在跟踪精度上还需要进一步提高[4]。因此将基于运动信息和基于肤色信息的检测识别方法结合起来，提高人脸肤色与运动识别相结合的自动表情识别算法的准确性，可满足实际应用中的实时监控要求[5]。本文主要基于肤色与人脸运动相结合的自动表情，对其识别算法进行了研究。

1 人脸肤色的提取

肤色是构成人脸信息的要素，实际上，不同人的肤色表面上看起来都有一定的差别，但如果排除亮度等影响因素以后，肤色显示出极高的聚类性，其色调基本一致[6]。在RGB颜色空间当中，由于不存在特定亮度位数信息，因此肤色不具备良好的类聚性，在进行肤色区域分割时具有较大难度。在YIQ颜色空间里，肤色具有较高的类聚性，但也只在该颜色空间的第I维空间中进行类聚。这个现象说明，肤色分割的算法计算量非常少，并且非常简单，能够满足实时监测系统的速度要求。基于RGB颜色空间将图像转换到YIQ颜色空间，转换公式为：

肤色的提取过程分为3步：利用式(1)把图像从RGB颜色空间转换到YIQ颜色空间；在YIQ中的第I维空间中提取图像数据信息；设定合适的阈值分割出二值图像中的背景、肤色。

2 人脸表情特征选取

2.1 基于GA算法的人脸表情特征选取

遗传算法的主要思想是达尔文生物进化论，通过对自然中生物进化过程的模拟，进行最优值的迭代搜索，目前常用的GA算法就是简单遗传算法，即SGA。遗传算法是指通过迭代方法，对一个目标问题，搜索得到能够解决该问题的最优解。在对目标问题进行种群初始化过程中，可以基于该种群的基因编码得到其个体。总的来说，种群个体实际上属于实体，而这部分实体都带有染色体特征。染色体承载着遗传物质，是由很多基因共同组成的，因此也是通过某种基因组合表现出来的，个体的外部表现则由该基因组合所决定。在染色体中，头发颜色由某种基因组合决定。因而，对基因进行编码，即基因型通过外部映射表现出来。

2.2 基于改进的Pareto优化算法人脸表情特征选取

通过改进的GA算法，经过优化得到解，采用Pareto优化算法，对每个种群F(Sk)(k=1，2，…，n)的多目标进行优化，得到最优max F(Sk)，并通过式(2)得到解Sk：

式中，不同种类表情个数用l表示；Mi是通过GA从一类表情中得到的解，且Nw是解的个数；Mj是通过GA从不同类别中得到的解，且Nb是其对应解的个数。

通过目标函数(3)可看出，F2(Sk)对应扩大类间差距，F1(Sk)对应缩小类间差距。图1为基于GA和Pareto优化算法的人脸的表情特征的选取。

2.3 基于随机森林方法的人脸表情特征分类

在选出最优特征后，将其进行表情分类，表情包括恐惧、生气、惊讶、高兴等。根据随机森林分类器方法，可将人脸表情分类的精度有效提高。随机森林属于一种组合分类器，实质上是一个树形分类器的集合。其中，基分类器为通过分类回归树算法构建的无剪枝分类的决策树，通过多数投票的简单法进行其输出结果的确定。Gini系数指标在随机森林算法中是分类回归树的分裂标准，其计算过程见式(4)：

式中，mtry表示每个节点的特征维数；Pi表示在样本集S中出现的概率。

3 人脸表情识别方法

3.1 三维人脸形变模型

图2为人脸颜色PCA模型，颜色系数的标准偏差设置为2。在第一个颜色模型中，模型主要是进行全局肤色模型的改变，从黑色到白色。在第二个模型中，模型主要是进行人脸性别特征的改变。第三个模型是进行性别、肤色两种的混合特征的改变。

3.2 基于双眼的三维人脸姿态的预处理

人脸中的67个对齐点采用对齐算法SDM对齐。SDM中人脸的鼻子、眼睛、嘴角位置均可作为定位标记点。SDM对一个目标函数进行了定义，对此目标函数通过算法进行最小化，用一个线性方法对这个问题进行求解是SDM的核心，见式(6)：

通过获取的角度，采用仿射变换对脸的姿态进行调整。仿射变换通过变换坐标进行，通过图像变换，在图片输入后，将其坐标映射到输出图片坐标上。图3为基于双眼的人脸姿态预处理。

4 支持向量机算法在目标跟踪中的应用

4.1 SVM核函数

在展开函数计算之前，要进行事先确定变换环节，当高维特征空间被输入映射时，那么这个高维特征空间就需要构造最优分类面。现阶段，在核函数和参数的选取环节当中，依旧采取人为选取的方式进行，随意性较大，稳定性难以满足。核函数指的是：设欧氏空间X为d维，该空间的一个点用x表示，x的模表示为||x||2=xTx，实数集用R表示。若一个函数K:x→R，存在一个函数k:[0，∞]→R，即K(x)=k(||x||2)，且k为非负值；当k为非增的、分段连续时，满足条件

则核函数就是K(x)。

4.2 训练过程

应用支持向量机跟踪验证运动目标，通常包括图像分类和训练过程。在训练时，将已知分类结果的样本图像输入，进行图像预处理，对于预处理后的图像特征通过特征提取法进行提取，并将其作为SVM学习器的输入数据。对核函数及参数值进行调整，优化设置向量机中可能存在的维度和偏差等问题，优化分类器的选择模式，最终实现输入训练样本的分类环节，分类器的精度显著提高。

4.3 动态人脸跟踪的实现

针对k帧进行研究时，所选择的肤色模型主要为混合式，通过分割的方式将图像的肤色进行输入，以模型规定为基础，查看肤色阈值从而得到人脸候选区域；采取优化过的Sobel算子边缘检测法检测候选区域，并用SNOW分类器处理前面得到的结果，检测人脸信息，最终得到人脸矩形区域；把第k-1帧的矩形区域与人脸矩形区域进行比较，对于当前帧人脸矩形区域的运动状态，采用线性预测获得；应用FWT算法和Haar小波变换进行该矩形区域图像的增强处理，同时采用SVM分类器验证人脸信息。如果能够检测到相应人脸信息，那么就可以将其作为人脸区域进行标注；如果检测不到相应的人脸信息，那就可以认为目标丢失，在允许的丢失时间范围内，跟踪和检测k+1帧。如果超过允许的丢失时间范围，即可结束本次跟踪，同时开始新一轮的人脸识别、跟踪、检测。

5 实验结果分析

以前文给出的算法流程为基础，实现对人脸识别跟踪的准确定位和检测，实现人脸肤色和人脸运动相结合的自动表情定位。以QC288型摄像头为图像识别工具进行采集，图像均为640×480分辨率的真彩图像，图4为部分人脸跟踪结果图，其中圆形所标注的内容为图像中的人脸目标。通过本文的人脸肤色与人脸运行相结合的自动表情的检测和跟踪算法，对小角度人脸肤色、人脸面部表情变化、人脸旋转、人脸面部存在遮挡物等情况准确地进行检测和跟踪。

6 结论

本文主要基于肤色与人脸运动相结合的自动表情，对其识别算法进行了研究。通过RGB将图像转为YIQ颜色空间，在YIQ中第I维中进行图像数据的提取，在二值图像中将背景和肤色分割出来。采用Pareto优化算法进行人脸表情特征的选取，本算法计算量少，构结简单，运行速度快，能对小角度人脸肤色、人脸面部表情变化、人脸旋转、人脸面部存在遮挡物等情况准确检测和跟踪。实验表明，对于人脸小角度转动，本文算法能较好适应：对于人眼的状态，本算法不受影响；对于丰富的面部表情变化和不同的肤色均能更好地适应，具有一定的稳定性。

参考文献

[1] 顾伟，刘文杰，朱忠浩，等.一种基于肤色模型和模板匹配的人脸检测算法[J].微型电脑，2014，30(7)：13-16.

[2] 曹海燕.基于几何特征的人脸识别算法研究[D].曲阜：曲阜师范大学，2015.

[3] 梅英，谭冠政，刘振焘.基于视频图像的面部表情识别研究综述[J].湖南文理学院学报(自科版)，2016，28(3)：19-25.

[4] 牛连强，赵子天，张胜男.基于Gabor特征融合与LBP直方图的人脸表情特征提取方法[J].沈阳工业大学学报，2016，38(1)：63-68.

[5] 李宇成，刘昆.一种基于人脸分割的PCA和SVM人脸识别方法[J].微型机与应用，2016，35(15)：51-53.

[6] 孙波，刘永娜，罗继鸿，等.基于张量分析的表情特征提取[J].计算机工程与应用，2016，52(20)：145-148.

作者信息：

宋婉娟，董文永

（湖北第二师范学院 计算机学院，湖北 武汉430205）