情感机器人的情感识别系统

外界事物的不同类型的刺激信息分别通过不同的感觉器官反映到大脑中，使人形成了对于该事物的不同品质或属性的认识。人的感觉器官分为眼睛、耳朵、舌头、鼻子和皮肤等五大类，分别形成视觉、听觉、味觉、嗅觉、触觉等五种感受形式。价值是事物的一种特殊属性，它作为一种特殊的刺激信息依附于或隐含于视觉、听觉、味觉、嗅觉、触觉信息之中，并通过人的五类感觉器官作用于大脑，使人形成一种特定的感受形式：情感。总之，情感的识别就是人对事物的价值关系及其作用的主观感知过程，简而言之，情感识别的本质就是价值识别。情感机器人就是能够进行价值运算与价值运行（包括价值表达、价值识别、价值消费、价值创造和价值转化）的机器人。

归纳起来，情感机器人的情感识别系统主要分为五个部分：情感目标物分析系统、表情识别系统、情感分析系统（情感属性标注系统）、情感综合系统、评价系统。

一、情感识别的客观目的

人为了更有效地实现人与人之间的分工与合作，一方面必须充分而准确地向他人展示自己的价值关系，另一方面还必须充分而准确地识别他人的价值关系，以便做出正确的价值判断和价值选择。

不过，由于人与人之间存在不同类型的利益相关性，人的情感表达方式将会在一定程度上受人的主观意志和利益关系驱动的影响和制约，从而形成四种不同类型的情感表达方式：完整情感表达方式、全反情感表达方式、适度掩饰情感表达方式、适度虚假情感表达方式。

针对对方不同类型的情感表达方式，人在识别对方情感属性的过程中，也要进行相应的调整和矫正，才能确保自己的情感识别不会出现较大的误差。首先，要清楚地了解双方利益相关性的真实情况，并相应地调整和修正自己的情感识别方式，使自己所识别出来的情感具有高度的精确性、完整性和客观性。具体的情感识别的矫正方法是：采取“完整情感识别方式”与对方的“完整情感表达方式”相对应；采取“全反情感识别方式”与对方的“全反情感表达方式”相对应；采取“适度矫正情感识别方式”与对方的“适度掩饰情感表达方式”相对应；采“取适度反向情感识别方式”与对方的“适度虚假表达方式”相对应。

二、“情感识别”的理论误区

目前，理论界对于情感识别理论的一个重要误区是：把人的情感划分为六种基本类型（即愤怒、厌恶、恐惧、快乐、悲伤和惊讶等），并认为，人类所有的情感都是由这六种基本情感所构成，或者都是由这六种基本情感混合而成，情感识别就是对于这六种基本情感的模式识别。

事实上，情感识别的本质就是价值识别，从而为自己以后的情感计算（或价值计算）提供客观而精确的价值参量。任何事物的价值关系包括七个方面的重要参量，即价值的主体性、目标性、模式性、强度性、类别性、时间性、相关性等，只要确定了这七个重要参量，任何事物价值关系的大致内容就确定下来了。情感是人脑对于价值关系的主观反映，情感参量取决于价值参量，任何情感都包括七个方面的重要参量，即情感的主体性、目标性、模式性、强度性、类别性、时间性、相关性等，只要识别了情感这七个重要参量，任何情感识别的大致内容就确定下来了。

由此可见，仅仅识别情感的六种基本类型，只能确定情感的现实状态（或价值的现实状态），即情感时间性的某一个状态，而无法确定情感的主体性、目标性、模式性、强度性、类别性、相关性的其它状态（即过去状态、过去完成状态与未来状态）。因此，目前理论界所谓的“情感识别”只包括了情感识别的很少部分内容，绝大部分内容都没有涉及到。完整意义的“情感识别”应该包括情感属性七大方面的识别，并通过“情感属性标注系统”来实现。

三、情感目标物分析系统

情感是人脑对于客观事物的价值关系所产生的主观反映，情感与价值的关系在本质上就是主观与客观的关系。根据不同的情感客体（或情感目标物），情感可分为四大类型：对物情感、对人情感、对已情感和对社会情感。因此，情感目标物分析系统包括以下四个部分：

1、对物情感分析器。对人情感主要包括五个这方面的内容：形状大小、颜色气味、运动特性、材质结构、功能特性等。

2、对人情感分析器。对人情感主要包括五个这方面的内容：社会地位、个人财富、能力素质、品德修养、健康颜值等。

3、对己情感分析器。对己情感主要包括五个这方面的内容：社会地位、个人财富、能力素质、品德修养、健康颜值等。

4、对社会情感分析器。对社会情感主要包括五个方面的内容：社会关系、社会环境、社会交往、社会活动、社会评价等。

情感目标物分析系统的逻辑结构如下图所示：

四、表情识别系统

表情识别系统主要分为五个部分：个人表情识别器、文字语言识别器、图像符号识别器、现场景观识别器、物理化学识别器。其中，个人表情识别器又细可分为人脸表情识别仪、语言声调表情识别仪、穿戴场景表情识别仪、身体姿态表情识别仪。

表情识别系统的逻辑如下图所示：

五、人脸表情识别仪（表情识别系统之一）

人人都会具有一些基本情感，如愤怒、厌恶、恐惧、快乐、悲伤和惊讶等。一般来说，当人产生某种基本情感时，其人脸表情将在灰度特征（即脸色特征）、运动特征（即脸部肌肉运动状态特征）和频率特征（即脸部肌肉及五官运动速度特征）等方面有着不同的特点与分布规模。由此，只要把各种具体人脸表情的灰度特征、运动特征和频率特征的基本特点和分布规律进行测算和分析，就可以识别出所有人脸表情中的基本情感内容。其中，灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。

（一）人脑对于人脸表情识别的逻辑程序

当人通过视觉器官把他人的人脸表情信号接收并传递到人的大脑之中，大脑就会进行人脸检测、人脸图像预处理，然后，对其灰度特征、运动特征和频率特征等方面的特点和分布规律进行检测、预处理和特征提取，然后，把以前存储在大脑中的若干基本表情的灰度特征、运动特征和频率特征方面的基本特点和分布规律进行对比分析和模糊判断，找出两者在灰度特征、运动特征和频率特征最接近的某种基本表情，从而完成人脸表情的识别过程。

（二）电脑对于人脸表情识别的逻辑程序

1、人脸表情数据库的建立。目前，研究中比较常用的表情库主要有：美国CMU机器人研究所和心理学系共同建立的(简称CKACFEID)人脸表情数据库，日本ATR建立的日本女性表情数据库(JAFFE)，它是研究亚洲人表情的重要测试库。

2、表情图像采集。通过摄像头等图像捕捉工具获取静态图像或动态图像序列。

3、表情图像预处理。图像的大小和灰度的归一化，头部姿态的矫正，图像分割等，以改善图像质量，消除噪声，统一图像灰度值及尺寸，为后序特征提取和分类识别打好基础。

4、表情特征提取。将点阵转化成更高级别图像表述—如形状、运动、颜色、纹理、空间结构等, 在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理，特征提取的主要方法有：提取几何特征、统计特征、频率域特征和运动特征等。

5、表情的分类与判别。目前的表情分类器主要有：线性分类器、神经网络分类器、支持向量机、隐马尔可夫模型等。这实际上就是狭义的“情感属性标注”。

人脸表情识别系统的逻辑框图如下图所示：

六、语言声调表情识别仪（表情识别系统之二）

一般来说，不同语言声调表情的语言信号在其时间构造、振幅构造、基频构造和共振峰构造等特征方面也有着不同的构造特点和分布规律。由此，只要把各种具体模式的语言声调表情在时间构造、振幅构造、基频构造和共振峰构造等特征方面的构造特点和分布规律进行测算和分析，并以此为基础或模板，就可以识别出所有语言声调中所隐含的情感内容。

（一）人类对于语音情感识别的逻辑程序

当人通过听觉器官把他人的语言声调信号接收并传递到人的大脑之中，大脑就会对其时间构造、振幅构造、基频构造和共振峰构造等方面的特点和分布规律进行检测、预处理和特征提取，然后，把以前存储在大脑中“语音表情数据库”的若干基本表情的语言声调信号的时间构造、振幅构造、基频构造和共振峰构造等特征方面的构造特点和分布规律提取出来，进行对比分析和模糊判断，找出两者的声音特征最接近的某种基本表情，从而完成语音的情感识别过程。

（二）电脑对于语音情感识别的逻辑程序

自动语音情感识别则是计算机对人类情感感知和理解过程的模拟，它的任务就是从采集到的语音信号中提取表达情感的声学特征，并找出这些声学特征与人类情感的映射关系。语音情感识别系统主要由五个部分组成：情感分类与描述模型、情感语音数据库、语音信号采集模块、情感特征提取模块和情感识别模块。

首先，根据每一种情感模式在其语音声调方面具有不同的时间构造、振幅构造、基频构造和共振峰构造等方面的特点和分布规律，必须建立一个“语音表情数据库”；然后，语音信号采集模块通过语音传感器(例如,麦克风等语音录制设备)获得语音信号，并传递到下一个情感特征提取模块；第三，对语音信号中与话者情感关联紧密的声学参数进行提取；第四，送入“语音表情数据库”中的情感识别模块，从而完成语音情感的判断。其中，情感分类与描述模块将会对“语音表情数据库”的收集、标注、识别算法的选择产生影响，“语音表情数据库”负责向语音识别系统提供测试、对比分析所需要的语料数据；第五，对情感的七大基本属性进行标注。

语音表情识别系统的逻辑框图如下图所示：

七、语言文字表情识别仪（表情识别系统之三）

书面文字和自然语言的情感识别基本相同，通常分为两步走：一是语言文字内容的分析与理解，二是语言文字情感属性的标注。

（一）人类对于文字内容识别的逻辑程序

当人通过听觉器官把文字信号接收并传递到人的大脑之中，大脑就会参照已有的知识体系和语言文字的逻辑体系，对语言文字所描述的具体内容进行分析和理解；然后，对文字所描述的内容进行情感属性的标注，以确定情感的目标性、强度性、方向性、时间性、层次性、相关性、动态性等。

（二）电脑对于文字情感识别的逻辑程序

首先，建立“文字词性标注系统”，以实现对于文字所描述的具体内容进行分析和理解；然后，建立“文字情感属性标注体系”，以确定情感的目标性、强度性、方向性、时间性、层次性、相关性、动态性等。

电脑要想理解文字所表达的内容，必须先对文字进行分析和归纳，并把文字的词性识别出来，然而，人对于各个文字的词性进行识别必须依据一个参照系统才能进行，这个参照系统就是“文字词性标注体系”。

文字词性标注体系：人脑或电脑对文字所表达的词性进行识别和标注的参照系统，就是文字词性标注体系。

文字词性标注体系主要包括：

1、词性分类技术。词的词性分类是以语言学界的分类为基础的，可分为名词、时间词、处所词、方位词、动词、形容词、状态词等，目前比较有影响的词性标注集有北京大学计算语言研究所的《现代汉语语法信息词典》关于39个词类的定义。

2、语法分析技术。目前处于应用阶段的语法分析技术就是浅层语法分析技术，它实际上就是局部语法分析技术，它可分为三种形式：基于统计的语法分析技术（如隐马尔可夫模型）、基于规则的语法分析、基于上下文的语法分析。

3、语料库的多级加工技术。语料库加工（或标注）就是对电子语料的语言学分析，并添加相应的解释性语言学信息的过程。对于未加工的“生”语料，其语言学信息是隐性的，只有对它进行一层一层的标注以后，才能使它从“生”到“熟”，实现从“隐性”语言学信息到“显性”语言学信息的转化。语料库的加工可以分为若干级别：词语边界划分、词性标注、语法标注、句法标注、语义标注、言语标注、深层标注等。语料库的加工过程实际上就是不断消除歧义、获取知识、形成信息库的过程。

4、分词技术。词是自然语言理解中有独立意义的最小构成单位，由于中文是基于字的，词与词之间没有显性的界限标志，因此词语的边界识别是汉语语法分析的重要内容。汉语自动分词就是把没有分割标记的汉语字串转换为符合语言实际的字串。分词的方式主要有两种：一是形式分词法，就是将待切分的字串与分词词典进行匹配，若在分词词典中找到了相应的字串，则匹配成功；二是统计分词法，相邻的词出现的频率越高，就越有可能构成一个词，统计分词法就是根据字串的频率统计信息进行分词的方法。目前最为困难的两个分词问题就是歧义消除与未登录词的识别。目前有代表的汉字自动分词系统有：北京航空航天大学的CDWS分词系统、清华大学的SEGTAG系统、哈工大统计分词系统、北大计算语言所分词系统等。

“文字词性标注系统”主要包括词语边界划分、词性标注、句法标注、语义标注、言语标注、深层标注等内容，而且每个层级的标注过程又是歧义的不断消解过程。文字词性标注系统的逻辑框图如下图所示：

八、情感分析系统（情感属性标注系统）

情感的识别就是对情感七大基本属性的识别。无论是人脸表情识别系统，或是语音声调情感识别系统，还是语言文字情感识别系统，都必须需要一个情感属性标注系统来进行情感识别。

情感的基本属性主要包括的主体性、目标性、模式性、强度性、类别性、时间性、相关性等，人通常会通过面部表情、语言声调表情、身体姿态表情和文字表情等具体方式，把情感的七大基本属性表现出来，而人脑或电脑对于人、事、物的情感属性进行识别必须依据一个参照系统才能进行，这个参照系统就是“情感属性标注体系”。

情感属性标注体系：人脑或电脑对人脸表情、语音声调、身体姿态、文字符号等信号中的情感基本属性进行识别和标注的参照系统，就是情感属性标注体系。

根据信号的不同类别，情感属性标注体系可分为人脸表情标注体系（即人脸表情数据库）、语音表情标注体系（即语音表情数据库）、身体姿态表情标注体系（即身体姿态表情数据库）和文字情感属性标注体系（即文字表情数据库）等。

情感基本属性的标注主要包括以下内容：

1、情感的主体性标注。根据情感的主体不同，情感可分为对物情感、对人情感、对已情感、对社会情感。

2、情感的目标性标注。根据情感所指向的目标物不同，如对人情感可分为社会地位、个人财富、能力素质、品德修养、健康颜值等。

3、情感的模式性标注。根据情感的识别模式不同，情感识别可分为个人表情识别、文字符号识别、影像图片识别、现场景观识别、物理化学识别等。

4、情感的强度性标注。根据情感的不同强度和正负方向，情感强度可分为强情感、弱情感、零情感、弱负情感、强负情感，分别可以量化为五个等级：2、1、0、-1、-2。

5、情感的类别性标注。根据情感的不同价值类型，情感可分为食物类情感、温饱类情感、个体性生产类情感、安全与健康类情感、社会性生产类情感、人尊与自尊类情感。

6、情感的时间性标注。根据情感所指向的发生时间不同，情感可分为过去式情感、过去完成式情感、现在式情感、将来式情感等四种。

7、情感的相关性标注。根据情感所指向的目标物与主体的利益相关性不同，情感可分为正相关性情感、负相关性情感、零相关性情感。

8、情感的需要性标注。根据情感对于不同事物的需要量情况，建立“需要数据库”。

根据以上分析，人的情感类型包括主体性标注4种状态、目标性标注4种状态、模式性标注4种状态、强度性标注5种状态、类别性标注6种状态、时间性标注4种状态、相关性标注3种状态，这样，人类的情感类型共有4×5×4×5×6×4×3=28800种。

情感属性标注体系的逻辑框图如下图所示：

“情感属性标注体系”是在“文字词性标注系统”的基础上发展起来的，是专门针对“价值”方面的内容理解或词标注。人脸表情属性标注体系、语言表情属性标注体系、身体姿态表情属性标注体系以及文字表情属性标注体系等四者的逻辑结构是基本一致的。

情感分析器就是把情感的七个基本要素分析出来：情感需要性、情感相关性、情感时间性、情感类别性、情感强度性、情感模式性、情感目标性、情感主体性，因此情感分析器主要由以下七个部分组成：情感需要性分析仪、情感相关性分析仪、情感时间性分析仪、情感类别性分析仪、情感强度性分析仪、情感模式性分析仪、情感目标性分析仪、情感主体性分析仪。

情感分析系统的逻辑框图如下所示：

九、情感综合系统

情感是人脑对于价值关系的主观反映，由于价值事物可分为四个基本层次：价值属性、价值整体性、价值规律性与价值系统性，因此情感也相应地分为四个基本层次：情感属性（情感印象）、情感整体性（情感概念）、情感规律性（情感定律）、情感系统性（情感理论）。价值事物与情感反映的对应关系如下图所示：

情感综合系统可分为四个层次：情感印象分析仪、情感概念综合器、情感定律综合器、情感理论综合器。情感综合系统的逻辑结构如下图所示：

十、评价系统

人脑对于价值关系的识别或评价主要有三种形式：需要、价值观与情感，其中需要是对事物的“价值量”识别，价值观是对事物的“价值率”识别，情感是对事物的“价值率高差”识别。这三种识别方式各有其特点，相互作用、相互补充、相互促进、相互转化，共同完成人对于各种价值关系的精确计算和快速反应。

需要、价值观与情感的相互转换可分为三种情况：

1、情感数据库与价值观数据库的相互转换：情感数据库通过“情价转换器”，转化为价值观数据库；价值观数据库通过“价情转换器”，转化为情感数据库。

2、需要数据库转换为情感数据库：从“情感数据库”中提取同一类抽象事物的若干个具体事物的情感两个数据（属性和强度），再从“需要数据库”中提取相应的若干个具体事物的需要量，根据“合并情感运算法则”进行运算，所得出的计算结果写入“情感数据库”。

3、需要数据库转换为价值观数据库：从“价值观数据库”中提取同一类抽象事物的若干个具体事物的价值观两个数据（属性和强度），再从“需要数据库”中提取相应的若干个具体事物的需要量，根据“合并价值观运算法则”进行运算，所得出的计算结果写入“价值观数据库”。

一般来说，情感数据库系统通常是处于“高能耗状态”，而价值观数据库系统通常是处于“低能耗状态”。通常情况下，人为了节约“能量”，总是及时地把情感系统自动地转换为价值观系统，只有等到实施某一种具体行为时，价值观系统才转换为情感系统。因此，在正常情况下，人对于大部分事物的价值识别主要是通过价值观识别的流程来完成的，只有对于眼前的、突发的、异常的、关键的、重要的事物的价值识别，才通过情感识别的流程来完成的。

评价系统主要包括六个部分：需要数据库、价值观数据库、情感数据库、价情转换器、合并情感计算器、合并价值观计算器。评价系统的逻辑结构，如下图所示：

十一、情感识别系统的逻辑框图

情感识别系统的逻辑过程主要包括以下内容：

1、情感目标物分析系统。在感觉系统和认知系统的配合下，人把不同情感主体（如对物、对人、对已、对社会）和不同情感对象（如社会地位、个人财富、能力素质、品德修养、健康颜值等）所发出的情感信号接收下来，并传送到“表情识别系统”。

2、表情识别系统。目标物的各种价值特性通过个人表情、文字语言、影像图片、现场景观、物理化学方法等表现出来，通过十一日个人表情识别器、文字符号识别器、影像图片识别器、现场景观识别器、物理化学识别器等分别予以识别。

3、情感属性标注系统（或情感分析器）。通过“情感分析器”，分别对情感的主体性、目标性、模式性、强度性、类别性、时间性、相关性等进行详细分析，并予以标注出来。

4、情感综合系统。通过“情感综合系统”，对众多低层次的情感属性进行综合归纳，或进行抽象思维，分别针对情感属性、情感整体性、情感规律性和情感系统性等四个层次的情感，产生情感印象、情感概念、情感定律情感理论等四个层次的主观反映。

5、评价系统。通过情感属性标注系统提供的数据，构建需要数据库；通过情感综合器提供的数据，以及需要数据库与合并情感计算器共同提供的数据，构建情感数据库；通过需要数据库与合并价值观计算器提供的数据，以及情感数据库与价情转换器提供的数据，构建价值观数据库。

情感识别系统的逻辑框图如下图所示：