(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210504109.3 (22)申请日 2022.05.10 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 宋延新　王健宗　黄章成　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 姚章国 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 识别模型训练方法、 微表情识别方法、 装置、 设备及介质 (57)摘要 本发明涉及人工智能领域， 公开了一种识别 模型训练方法、 微表情识别方法、 装置、 设备及介 质， 其中方法包括： 采用初始视觉识别模型对视 频样本数据进行视觉特征提取， 得到视觉特征， 并采用语义识别模型对视频样本数据的微表情 属性进行语义特征提取， 得到微表情语义特征； 根据视觉特征和微表情语义特征对视频样本数 据进行跨模态对比学习， 得到对比学习损失值； 根据对比学习损失值确定视频样本数据的总损 失值； 在总损失值未达到收敛条件时， 迭代更新 初始视觉识别模 型的初始参数， 直至总损失值达 到收敛条件， 将收敛后的初始视觉识别模型记录 为微表情识别模 型； 本发明提高了微表情识别模 型的精度， 从而提高了微表情识别结果的准确 性。 权利要求书2页 说明书16页 附图5页 CN 114743249 A 2022.07.12 CN 114743249 A 1.一种识别模型训练方法， 其特 征在于， 包括： 获取微表情 样本数据集， 所述 微表情样本数据集包括多个视频样本数据； 采用初始视觉识别模型对所述视频样本数据进行视觉特征提取， 得到所述视频样本数 据的视觉特征； 采用语义识别模型对所述视频样本数据的微表情属性进行语义特征提取， 得到所述视 频样本数据的微表情语义特 征； 对所述视频样本数据的视觉特征和微表情语义特征进行跨模态对比学习， 得到所述视 频样本数据的对比学习损失值； 根据所述对比学习损失值确定所述视频样本数据的总损失值； 在所述总损 失值未达到收敛条件时， 迭代更新所述初始视觉识别模型的初始参数， 直 至所述总损失值达到所述收敛条件， 将收敛后的所述初始视觉识别模型记录为微表情识别 模型。 2.如权利要求1所述的识别模型训练方法， 其特征在于， 所述采用初始视觉识别模型对 所述视频样本数据进行视 觉特征提取， 得到所述视频样本数据的视 觉特征， 包括： 对所述视频样本数据进行 预处理， 得到所述视频样本数据的视频序列； 计算所述视频样本数据的视频序列中两相邻帧之间的光流， 得到所述视频样本数据的 光流序列； 将所述视频样本数据的视频序列和光流序列， 输入所述初始视觉识别模型进行特征提 取和融合， 得到所述视频样本数据的视 觉特征。 3.如权利要求1所述的识别模型训练方法， 其特征在于， 所述采用语义识别模型对所述 视频样本数据的微表情属性进行语义特征提取， 得到所述视频样本数据 的微表情语义特 征， 包括： 确定所述视频样本数据中微表情所属类别， 并确定所述微表情所属类别在面部行为编 码系统中对应的文本信息， 作为所述视频样本数据的微表情属性信息； 将所述视频样本数据的微表情属性信息， 输入所述语义识别模型进行语义编码， 得到 所述视频样本数据的微表情语义特 征。 4.如权利要求1所述的识别模型训练方法， 其特征在于， 所述对所述视频样本数据的视 觉特征和微表情语义特征进行跨模态对比学习， 得到所述视频样本数据 的对比学习损失 值， 包括： 将所述视频样本数据作为目标视频样本数据， 并将所述微表情样本数据集中除所述目 标视频样本数据之外的所述视频样本数据， 作为对照视频样本数据； 将所述目标视频样本数据的视 觉特征和微表情语义特 征， 记录为 正例样本特 征对； 将所述目标视频样本数据的视觉特征和所述对照视频样本数据的微表情语义特征， 记 录为负例样本特 征对； 对所述正例 样本特征对与多个所述负例 样本特征对进行损失计算， 得到所述对比学习 损失值。 5.如权利要求1 ‑4任一项所述的识别模型训练方法， 其特征在于， 所述根据所述对比学 习损失值确定所述视频样本数据的总损失值， 包括： 确定所述初始视 觉识别模型对所述视 觉特征的分类损失值， 记为第一分类损失值；权　利　要　求　书 1/2 页 2 CN 114743249 A 2确定所述语义识别模型对所述 微表情语义特 征的分类损失值， 记为第二分类损失值； 根据所述第一分类损 失值、 所述第二分类损 失值和所述对比学习损 失值， 确定所述视 频样本数据的总损失值。 6.一种微表情识别方法， 其特 征在于， 包括： 获取待识别视频数据， 并获取如权利要求1 ‑5任一项所述识别模型训练方法训练得到 的微表情识别模型； 对所述待识别视频 数据进行 预处理， 得到所述待识别视频 数据的模型输入数据； 将所述模型输入数据输入所述 微表情识别模型进行微表情识别； 获取所述微表情识别模型的输出数据， 并将所述输出数据作为所述待识别视频数据的 微表情识别结果输出。 7.一种微表情识别模型训练装置， 其特 征在于， 包括： 获取模块， 用于获取微表情样本数据集， 所述微表情样本数据集包括多个视频样本数 据； 第一提取模块， 用于采用 初始视觉识别模型对所述视频样本数据进行视觉特征提取， 得到所述视频样本数据的视 觉特征； 第二提取模块， 用于采用语义识别模型对所述视频样本数据的微表情属性进行语义特 征提取， 得到所述视频样本数据的微表情语义特 征； 比对学习 模块， 用于对所述视频样本数据的视觉特征和微表情语义特征进行跨模态对 比学习， 得到所述视频样本数据的对比学习损失值； 确定模块， 用于根据所述对比学习损失值确定所述视频样本数据的总损失值； 迭代更新模块， 用于根在所述总损 失值未达到收敛条件时， 迭代更新所述初始视觉识 别模型的初始参数， 直至所述总损失值达到所述收敛条件， 将收敛后的所述初始视觉识别 模型记录为 微表情识别模型。 8.一种微表情识别装置， 其特 征在于， 包括： 获取模块， 用于获取待识别视频数据， 并获取如权利要求1 ‑5任一项所述识别 模型训练 方法训练得到的微表情识别模型； 预处理模块， 用于对所述待识别视频数据进行预处理， 得到所述待识别视频数据的模 型输入数据； 输入模块， 用于将所述的模型输入数据输入所述 微表情识别模型进行微表情识别； 输出模块， 用于获取所述微表情识别模型的输出数据， 并将所述输出数据作为所述待 识别视频 数据的微表情识别结果输出。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 5任一项所述识别模型训练方法的步骤， 或如权利要求6所述 微表情识别方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至5任一项 所述识别模型训练方法的 步骤， 或如权利要求6所述 微表情识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114743249 A 3