(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211288505.3 (22)申请日 2022.10.20 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 朱蕊　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 高艳红 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 人脸表情 图像的识别方法、 装置、 电子设备 及存储介质 (57)摘要 本申请公开了一种人脸表情图像的识别方 法、 装置、 电子设备及存储介质， 涉及图像识别技 术领域。 包括： 根据表情图像的像素值确定表情 图像的原始向量， 对原始向量进行主成分分析得 到表情图像的目标向量； 将目标向量输入至特征 提取网络得到表情图像的特征信息； 基于泊松分 布对特征信息进行脉冲频率编码得到表情图像 的脉冲序列； 将脉冲序列输入至表情识别模型得 到表情图像的识别结果， 表情识别模 型为多层脉 冲神经网络， 多层脉冲神经网络中脉冲神经元模 型是基于漏 积分放电神经元LIF模型进行改进得 到。 本申请技术方案可以兼具有更好的可解释性 和灵活性， 在提高计算能力的同时网络能耗大大 减小， 适合用于客服机器人这类更为智能的小型 机器人。 权利要求书2页 说明书11页 附图3页 CN 115482578 A 2022.12.16 CN 115482578 A 1.一种人脸表情图像的识别方法， 其特 征在于， 所述方法包括： 根据表情图像的像素值确定所述表情图像的原始向量， 对所述原始向量进行主成分分 析得到所述表情图像的目标向量； 将所述目标向量输入至特 征提取网络得到所述表情图像的特 征信息； 基于泊松分布对所述特 征信息进行 脉冲频率编码得到所述表情图像的脉冲序列； 将所述脉冲序列输入至表情识别模型得到所述表情图像的识别结果， 所述表情识别模 型为多层脉冲神经网络， 所述多层脉冲神经网络中脉冲神经元模型是基于漏积分放电神经 元LIF模型进行改进得到 。 2.根据权利要求1所述的人脸表情图像的识别方法， 其特征在于， 通过如下方式对所述 LIF模型进行改进得到所述脉冲神经 元模型： 将所述LIF模型中膜电位微分方程转换为膜电位差分方程； 所述膜电位差分方程用于 表示当前层神经 元在当前时刻的膜电位与在上一时刻的膜电位之间的关系； 确定上一 时刻当前层神经元的第 一输入电流， 确定当前时刻上一层神经元的第 一输出 电流， 确定上一时刻当前层神经 元的第二输出电流； 基于所述第 一输入电流、 所述第 一输出电流和各层神经元间的突触权重确定当前时刻 当前层神经 元的第二输入电流； 将所述第二输入电流和所述第 二输出电流 回代至所述膜电位差分方程， 得到所述脉冲 神经元模型。 3.根据权利要求2所述的人脸表情图像的识别方法， 其特征在于， 所述确定当前时刻上 一层神经 元的第一输出电流， 包括： 基于自适应放电阈值 函数确定当前时刻的神经 元放电阈值； 基于所述当前时刻的神经 元放电阈值确定神经 元输出函数； 确定当前时刻上一层神经 元的第一膜电位； 基于所述神经 元输出函数和所述第一膜电位确定所述第一输出电流。 4.根据权利要求3所述的人脸表情图像的识别方法， 其特征在于， 通过如下方式确定所 述自适应放电阈值 函数： 确定放电阈值随时间衰减的阈值衰减系数； 基于上一 时刻的神经元放电阈值、 所述第 二输出电流和阈值衰减系数确定所述自适应 放电阈值 函数。 5.根据权利要求1所述的人脸表情图像的识别方法， 其特征在于， 所述对所述原始向量 进行主成分 分析得到所述表情图像的目标向量， 包括： 对原始向量进行 预处理得到中间向量， 并确定所述中间向量的协方差矩阵； 对所述协方差矩阵进行 特征值求解得到特 征向量； 从所述特征向量中挑选出满足 目标要求的预设数量的目标特征向量， 将所述目标特征 向量组成投影矩阵； 对所述投影矩阵和所述原 始向量进行 数据处理得到目标向量。 6.根据权利要求1所述的人脸表情图像的识别方法， 其特征在于， 所述基于泊松分布对 所述特征信息进行 脉冲频率编码得到所述表情图像的脉冲序列， 包括： 根据采样时间步长将所述特 征信息中时间信息 离散为多个时刻；权　利　要　求　书 1/2 页 2 CN 115482578 A 2基于泊松分布确定每 个时刻上神经 元放电概 率； 基于所述每个时刻上神经元放电概率对所述特征信 息进行脉冲频率编码， 从而得到所 述脉冲序列。 7.根据权利要求1所述的人脸表情图像的识别方法， 其特征在于， 所述特征提取网络是 基于卷积神经网络训练得到； 所述卷积神经网络包括五个卷积层和两个池化层； 前两个卷 积层的卷积参数和后三个卷积层的卷积参数不同。 8.一种人脸表情图像的识别装置， 其特 征在于， 所述装置包括： 目标向量确定模块， 用于根据表情图像的像素值确定所述表情图像的原始向量， 对所 述原始向量进行主成分 分析得到所述表情图像的目标向量； 特征信息确定模块， 用于将所述目标向量输入至特征提取网络得到所述表情图像的特 征信息； 脉冲序列确定模块， 用于基于泊松分布对所述特征信 息进行脉冲 频率编码得到所述表 情图像的脉冲序列； 表情图像识别模块， 用于将所述脉冲序列输入至表情识别模型得到所述表情图像的识 别结果， 所述表情识别模型为多层脉冲神经网络， 所述多层脉冲神经网络中脉冲神经元模 型是基于漏积分放电神经 元LIF模型进行改进得到 。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使 所述至少一个处理器能够执行权利要求 1至7中任一所述的人 脸表情图像的识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指 令用于使处理器执行时实现权利要求 1至7中任一所述的人脸表情图像的 识别方法。权　利　要　求　书 2/2 页 3 CN 115482578 A 3