(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211294780.6 (22)申请日 2022.10.21 (71)申请人 青岛科技大 学 地址 266000 山东省青岛市崂山区松岭路 99号 (72)发明人 冯宇平　刘宁　 (74)专利代理 机构 青岛发思特专利商标代理有 限公司 37212 专利代理师 江鹏飞 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 ResNet18与胶囊网络结合并进行剪枝的人 脸表情识别方法 (57)摘要 本发明公开了一种ResNet18与胶囊网络结 合并进行剪枝的人脸表情识别方法， 属于人脸识 别技术领域。 其步骤包括： 构建胶囊网络、 调整 ResNet18网络模型、 在调整后的ResNet18网络模 型的四个残差块中加入注意力机制、 利用调整后 的ResNet18网络模型替换胶囊网络的单卷积层、 利用调整后的ResNet18网络模型从输入特征中 提取训练特征图、 将训练特征图输入至胶囊网络 中进行训练得到网络模型、 针对网络模型， 采用 L2范数进行剪枝处理、 利用数据集进行人脸表情 识别。 本发 明利用结合后的网络模 型进行人脸表 情识别， 可以避免出现池化层丢失特征数据的问 题， 以及避免出现胶囊网络自身卷积层特征提取 不足的问题。 权利要求书2页 说明书9页 附图8页 CN 115471899 A 2022.12.13 CN 115471899 A 1.一种ResNet18与胶囊网络结合并进行剪枝 的人脸表情识别方法， 其特征在于， 包括 如下步骤： 步骤一、 构建胶囊网络： 所述胶囊网络包括： 卷积层、 初级胶囊层、 数字胶囊层， 所述卷 积层是通道数为256， 卷积核大小为9 ×9， 步长为1的单卷积层， 所述初级胶囊层包括： 通道 数为256、 卷积核大小为9 ×9、 步长为2的单卷积层， 所述数字胶囊层 包含7个胶囊， 且所述数 字胶囊层由所述初级胶囊层经 过路由机制得到； 步骤二、 调整 ResNet18网络模型： 去除ResNet18网络模型的全连接层， 剔除ResNet18网 络模型的全局平均池化层， 将ResNet18网络模 型的第一个卷积层的卷积核大小由3 ×3修改 为5×5， ResNet18网络模型的第一个残差块保持不变， 将ResNet18网络模型的第二个残差 块和第三个残差块的步长调整为1， 将所述ResNet的第四个残差块的通道数修改为25 6； 步骤三、 在调整后的ResNet18网络模型的四个残差块中加入注意力机制； 步骤四、 利用调整后的ResNet18网络模型替换 所述胶囊网络的单 卷积层； 步骤五、 利用调整后的ResNet 18网络模型从输入特征中提取训练特征图； 包括： 在所述 输入特征上进 行全局最大池化和全局平均池化得到两个一维向量， 所述两个一维向量经过 共享MLP层处理后相加， 再经过Sigmoid激活函数， 得到通道注 意力权重， 在所述通道注 意力 权重和输入特征 的乘积上进行最大池化和平均池化， 得到两个特征图， 所述两个特征图经 过卷积核大小为7 ×7的卷积层处理， 得到一个新的特征图， 再经过BN层和Sigmoid激活函 数， 得到空间注意力权重， 将所述空间注意力权重与所述通道注意力权重和输入特征 的乘 积相乘得到所述训练特 征图； 步骤六、 将所述训练特 征图输入至所述胶囊网络中进行训练， 得到网络模型； 步骤七、 针对所述网络模型， 采用L2范 数进行剪枝处 理： 具体包括如下步骤： S1、 通过L2范数评估所述网络模型每一层卷积的通道； 其 中， 所述L2范数的计算公式如 下： 式中： x为输入向量， n 为输入向量总的维度， i 为当前输入向量的维数； S2、 判断所述通道是否满足L2范数， 所述网络模型的卷积层中不满足L2范数的通道进 行删减， 并将所述训练特 征图重新输入到所述网络模型中进行训练； S3、 重复执 行上述步骤S1、 S2， 直至所述网络模型每一层卷积的通道满足L2范 数； S4、 对所述网络模型的参数进行微调； 步骤八、 利用数据 集进行人脸表情识别： 所述数据 集至少包括： CK+数据 集、 RAF‑db数据 集、 FER+数据集。 2.根据权利要求1所述的ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法， 其特征在于， 所述步骤一中， 路由机制为所述胶囊网络的核心， 低层特征和高层特征之 间通 过所述路由机制更新权重系 数， 且所述胶囊网络中采用的是动态路由机制， 所述胶囊网络 中的动态路由机制迭代3次。 3.根据权利要求1或2所述的ResNet18与胶囊网络结合并进行剪枝 的人脸表情识别方 法， 其特征在于， 所述步骤一中， 胶囊网络的初级胶囊层将提取到的特征封装为32个胶囊，权　利　要　求　书 1/2 页 2 CN 115471899 A 2每个胶囊含有8个卷积单 元。 4.根据权利要求1所述的ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法， 其特征在于， 所述步骤二中， ResNet18网络模型的四个残差块中加入的注意力机制为混合 域的注意力机制， 所述混合 域的注意力机制包 含通道域注意力机制和空间域注意力机制。 5.根据权利要求1所述的ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法， 其特征在于， 所述步骤 六中， 胶囊网络采用ReLU激活函数； 将所述胶 囊网络采用的ReLU激活 函数修改为ReLU6 激活函数。 6.根据权利要求1所述的ResNet18与胶囊网络结合并进行剪枝的人脸表情识别方法， 其特征在于， 所述方法还 包括如下模块： 网络模型构建模块， 用于构建胶囊网络； 所述胶囊 网络包括： 卷积层、 初级胶囊层、 数字 胶囊层， 所述卷积层是通道数为256， 卷积核大小为9 ×9， 步长为1的单卷积层， 所述初级胶 囊层包括： 通道数为256、 卷积核大小为9 ×9、 步长为2的单卷积层， 所述数字胶囊层包含 7个 胶囊， 且所述数字胶囊层由所述初级胶囊层经 过路由机制得到； 网络模型调整模块， 用于调整ResNet18网络模型， 包括： 去除ResNet18网络模型的全连 接层， 剔除ResNet18网络模型的全局平均池化层， 将ResNet18网络模型的第一个卷积层的 卷积核大小由3 ×3修改为5 ×5， ResNet18网络模型的第一个残差块保持不变， 将ResNet18 网络模型的第二个残差块和第三个残差块的步长调整为1， 将所述ResNet的第四个残差块 的通道数修改为25 6； 注意力融入模块， 用于在调整后的ResNet18网络模型的四个残差块中加入注意力机 制； 卷积层替换模块， 利用调整后的ResNet18网络模型替换 所述胶囊网络的单 卷积层； 特征图提取模块， 利用调整后的ResNet18网络模型从输入特征中提取训练特征图； 包 括： 在所述输入特征上进行全局 最大池化和全局平均池化得到两个一维向量， 所述两个一 维向量经过共享MLP层处理后相加， 再经过Sigmoid激活函数， 得到通道注 意力权重， 在所述 通道注意力权重和输入特征 的乘积上进行最大池化和平均池化， 得到两个特征图， 所述两 个特征图经过卷积核大小为7 ×7的卷积层处理， 得到一个新的特征图， 再经过BN层和 Sigmoid激活函数， 得到空间注 意力权重， 将所述空间注 意力权重与所述通道注 意力权重和 输入特征的乘积相乘得到所述训练特 征图； 网络模型训练模块， 用于将所述训练特征图输入至所述胶囊网络中进行训练， 得到网 络模型； 剪枝处理模块， 用于针对所述网络模型， 采用L2范 数进行剪枝处 理； 人脸表情识别 模块， 利用数据集进行人脸表情识别： 所述数据集至少包括： CK+数据集、 RAF‑db数据集、 FER+数据集。权　利　要　求　书 2/2 页 3 CN 115471899 A 3