用户微表情信息表征研究综述

用户微表情信息表征研究综述一文创作于：2023-08-16 04:28:42，全文字数：35982。

用户微表情信息表征研究综述

��“lop top”和“network”等关键词可以看出，微表情识别技术的发展和创新备受关注，且标准系统化的信息表征产生于明确的微表情识别之中。技术的发展不断提升微表情的识别精度，有利于微表情识别和信息表征的关联融合。“onset””“apex frame”“micro expression database”和“feature extraction”等关键词表明，以往学者比较关注微表情的识别机制，从数据集到微表情信息数据的处理，再到微表情特征识别、检测等，而信息表征正好以不同形式出现在这一过程中，因此对微表情识别之后得到的信息数据进行处理、统一表示等可以进一步提高微表情的识别精度，显著降低微表情识别的波动性，可以更好地提高其关联信息表征的正确率。

1.2.2?0?2 关键词共现聚类分析

对关键词进行聚类分析可以更好地把控微表情识别研究领域的热点主题集群。借助工具 VOSviewer 对得到的样本文献进行聚类分析，得到的主题词贡献网络见图6。图中节点越大，关键词词频越大。由图6中信息可知，微表情识别的研究热度主要集中在面部表情、微表情、情绪的识别；光流法、LBP-TOP（local binary pattern histograms from three orthogonal planes）、CNN（convolutional neural network）等技术的实现和发展；迁移学习、域适应等新领域研究；特征提取、分类、情感等微表情数据的收集和分析。

2?0?2 用户微表情信息表征的技术发展

微表情识别技术的起步阶段，依靠的是人工微表情识别方法[10]。但微表情持续时间短，出现频率低，未经训练的个体识别能力不佳[11]，故人工方法在工作效率和精确程度上都难以满足研究者对用户信息表征的探究[12]。随着技术的发展，研究者更倾向于利用计算机技术在人机交互的过程中实现微表情的自动识别，从而进一步提高识别、分析用户信息表征的效率。微表情的自动识别技术在用户信息表征研究领域的发展，可以从微表情数据集、现有的数据处理方式、基于传统方法的识别技术和基于深度学习的识别技术4个角度展开分析。

2.1?0?2 微表情数据集

微表情数据集为科学的、定量的微表情识别奠定了基础。但微表情区别于普通的面部表情，具有持续时间短、动作强度低、在无意识状态下产生等特点，较难提取。因此，如果要对用户信息表征的分析和预测达到最好的效果，微表情数据集的采集和选取十分重要。对于现存的公开微表情数据集，其主要区别在于帧率、诱导方式和标注方式[13]。目前已知的微表情数据集有：芬兰奥卢大学的SMIC（spontaneous microexpression corpus）[14]和SMIC 2数据集[15]，中国科学院的CASME（Chinese Academy of Science micro-expression）[16]、CASME Ⅱ[17]、CAS（ME）2[18]和CASME Ⅲ[19]数据集，英国曼彻斯特大学的SAMM（spontaneous micro-expression）数据集和SAMM long数据集[20]，中国山东大学联合清华大学、?偷┐笱?哦拥?MEW（micro-and-macro expression warehouse）数据集[21]，美国南佛罗里达大学的USF-HD数据集[22]和日本筑波大学的Polikovskys数据集[23]。其中，SMIC 2数据集包含3个子集HS、VIS和NIR。上述数据集实验采集参数的总结和对比如表1所示：

2.2?0?2 现有的数据处理方式

在提取人类微表情的特征之前，通常需要对微表情视频片段进行数据预处理，以降低输入复杂度，进一步提高后续有关用户信息表征的工作效率。常见的数据处理方式有数据元处理、数据统一表示等。

（1）数据元处理。人脸检测是微表情自动识别的第一步，过滤视频中出现人脸的干扰帧，提取出有用的人脸视频帧[24-25]，即数据元。接下来便对识别出的数据元进行处理，包括裁剪人脸、人脸矫正。裁剪人脸[26]以特定的位置来控制和放大人脸的特征点；人脸矫正负责标准化所提取到的人脸数据，解决角度不同、尺度不一致等问题，从而提高实际任务中的识别率。

（2）数据统一表示。用户的微表情所折射出的信息依赖计算机对识别结果的处理。但目前现存的微表情数据样本少，且微表情评判标准制定困难，难以满足算法检测学习的需求，因此现阶段的研究更趋向于使用数据统一表示以提高模型检测、判断的效率和容错率。常见的数据统一表示方式有裁剪、缩放、旋转和翻转等。采取不同的算法对数据进行处理，可以获取更为精准的标准化数据，进而有利于特征因子的提取，达到提高检测效率的目的[27]。

微表情识别研究是从提取到的实验者的面部微表情中分析出可能相对应的信息行为，作为研究资料在后续的数据分析工作中使用。如果选取的处理方法不当，就很可能触犯实验者的个人隐私[28]。一旦研究的数据库对外公开，由于信息主体隐私保护意识薄弱、信息获取要求配合度低以及相关立法滞后、由知情同意信息缺乏以及信息自主失效引发的隐私伦理问题不仅会侵犯实验者的隐私与伦理[29]，更会造成其对实验缺乏信任。因此，微表情的数据处理方式需要兼顾效率与安全，以达到促进信息表征研究的可持续发展目的[30]。

2.3?0?2 基于传统方法的识别技术

微表情识别的早期工作，大多是基于传统机器学习的方法，研究人员一般通过设计特征提取算子，提取微表情片段中的相应特征，并对特征进行分类识别[31]。基于传统方法的微表情识别可以分为基于纹理特征的方法和基于几何变换特征的方法，具体如表2所示：

2.4?0?2 基于深度学习的识别技术

采用传统的机器学习方法对高相似性和密集性的微表情图片进行特征识别，存在训练难度大、准确性较低、数据集数量较小、容易导致过拟合等问题，无法满足日益精确的效率需求。2018年，研究者将深度学习（deep learning， DL）引入微表情识别[39]，深度学习作为机器学习的一个新研究方向，在语音和图像识别等方面都已经取得了卓越进展[40]，可以有效解决微表情识别在种类、数量、速度上存在的问题，且处理方式更加简洁，还能更精准地识别特征信息，进一步提升微表情信息表征能力，现已超越传统方法成为主流。基于深度学习方法的微表情识别可以分为基于关联学习的方法、基于区域学习的方法和基于迁移学习的方法，如表3所示：

3?0?2 微表情识别与信息表征研究面临的挑战

从已取得的成就来看，微表情识别技术发展趋于成熟，基于深度学习的微表情识别方法已超越传统的机器学习方法，可以更精准地预测和分析用户试图掩饰或隐藏的真实情绪和内在表征信息，成为技术创新的中心课题[47]。信息表征的分析和预测已取得较好的成效[48]，面部表情的识别更加精准，数据元的处理方式更加多样化，并且已在高效课堂教学[49]、社会治理[50-51]领域得到较好的实际运用，但同时也不可避免地会存在一些困难与挑战。

提醒您：因为《用户微表情信息表征研究综述》一文较长还有下一页，点击下面数字可以进行阅读！

《用户微表情信息表征研究综述》在线阅读地址：用户微表情信息表征研究综述