(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210717560.3 (22)申请日 2022.06.23 (71)申请人 天津仁爱学院 地址 300000 天津市 静海区团泊新城博学 苑 (72)发明人 何颖　陈淑鑫　刘海斌　袁铁彪　 张鑫怡　王晨宇　 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/59(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种安全驾驶员面部表情识别的分析算法 (57)摘要 本发明公开了一种安全驾驶员面部表情识 别的分析算法， 属于面部识别算法技术领域。 本 发明中， 用户通过摄像头采集面部图像， 从每次 采集的图像中获得面部区域图像， 眼眉区域图 像， 嘴巴区域的图像， 然后提取不同维度的区域 图像中的特征信息， 可以预先设置正常驾驶的特 征信息， 将采集到的图像中的面部的特征信息与 预先存储的面部的特征信息进行匹配获得两者 匹配的重合度， 根据所述重合度获得驾驶员开车 时的状态， 利用面部表情与疲劳相关的特性确定 用户的疲劳度。 这样得到的更精确的驾驶员开车 状态的情态分析。 权利要求书2页 说明书4页 附图1页 CN 115100708 A 2022.09.23 CN 115100708 A 1.一种安全驾驶员面部表情识别的分析算法， 其特征在于， 包括在驾驶车辆工作时， 通 过采集驾驶员脸部图像， 通过基于卷积核均值控制和基于卷积核方差控制的卷积神经网络 模型对全脸表情特征的提取后， 识别用户疲劳度， 所述卷积神经网络模型的训练方法， 具体 包括以下步骤： 步骤S1、 表情图像进行预处理： 通过Vi alo‑Jones算法分别获取表情图像的面部区域特 征图像， 同时对每 类图像进行 数据增强； 步骤S2、 将面部区域图像送入基于卷积核均值控制的卷积神经网络训练， 眼眉区域图 像和嘴巴区域图像送入基于卷积核方差控制的卷积神经网络训练， 多角度融合表情网络模 型并行训练； 步骤S3、 对于多角度融合表情网络模型的特征利用融合技术得到最终输出特征FO， 将 每个分支输出的特征向量合并串联， 得到融合后的特征向量FV， 将每个分支训练好的权值 向量合并串联， 得到融合后权值向量FW， 将 每个分支训练好的三组偏置向量合并串联， 得到 融合后偏置向量FB， 其中输出 特征FO的计算公式如下式： FO＝FW×FV+FB′； 步骤S4、 将最终输出 特征送入SoftMax分类 器中进行分类， 得到分类结果。 2.根据权利要求1所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 面部区域特 征图像包括图像、 眼眉区域图像和嘴巴区域 三类。 3.根据权利要求1所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 基于卷积核均值控制的卷积神经网络和基于卷积核方差控制的卷积神经网络是指通过控 制卷积核的均值与方差， 利用均值较大 的卷积核提取图像的低频信号， 用于全脸表情特征 的提取， 方差较大的卷积核提取图像的高频信号， 用于提取眼睛、 眉 毛和嘴巴局部表情特 征。 4.根据权利要求1所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 步骤S1中图像数据增强方法包括但不限于随机水平翻转、 亮度变化和椒盐噪声随机添加。 5.根据权利要求1所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 多角度融合表情网络模 型的输入图像 分别是28 ×28的人脸区域像素矩阵、 24 ×60的眼眉区 域像素矩阵 以及24×28的嘴巴区域像素矩阵， 所述多角度融合表情网络模型的第一层卷积 层采用6个5 ×5的卷积核进行卷积操作， 三个分支通道分别获得6个24 ×24， 20×56， 20×24 的卷积特 征图。 6.根据权利要求5所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 三个分支 通道分别为第一分支 通道、 第二分支 通道以及第三分支 通道， 其中： 所述第一个分 支通道采用基于卷积核均值控制的权值参数， 第二个分支通道和 第三个分支 通道采用基于 卷积核方差控制的权值 参数。 7.根据权利要求6所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 多角度融合表情网络模型的第二层卷积层为池化层， 使用2 ×2的滑动窗口进行最大池化， 三个分支通道分别获得6个12 ×12， 10×28， 10×12的下采样特征图， 所述多角度融合表情 网络模型的第三层卷积层 采用16个5 ×5的卷积核进 行卷积操作， 三个 分支通道分别获得16 个8×8， 6×24， 6×8的卷积特征图， 所述多角度融合表情 网络模型的第四层卷积层为池化 层， 使用2 ×2的滑动窗口进行最大池化， 三个 分支通道分别获得16个4 ×4， 3×12， 3×4的下权　利　要　求　书 1/2 页 2 CN 115100708 A 2采样特征图。 8.根据权利要求7所述的一种安全驾驶员面部表情识别的分析算法， 其特征在于， 所述 三个分支通道的输出值通过多分支融合技术获得融合特征， 为1024维列特征向量， 送入 Softmax分类 器进行分类， 对特 征融合层的融合特 征进行分类。权　利　要　求　书 2/2 页 3 CN 115100708 A 3