(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210363867.8 (22)申请日 2022.04.07 (66)本国优先权数据 202110653367.3 2021.0 6.11 CN (71)申请人 珠海路讯科技有限公司 地址 519000 广东省珠海市横琴新区宝华 路6号105室-1297 (72)发明人 曹振华　陈伟烽　梁伟鑫　黄中　 周友元　钟振鸿　 (74)专利代理 机构 珠海飞拓知识产权代理事务 所(普通合伙) 44650 专利代理师 陈李青 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 40/10(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的检测工人是否佩戴安 全帽的方法 (57)摘要 本发明属于深度学习的计算机视觉领域， 是 一种基于深度学习的工人安全帽佩戴检测方法， 该方法包括以下步骤： S1、 获取足够数量的含有 佩戴安全帽人物样本和未佩戴安全帽人物样本 的安全帽检测数据集， 并随即按一定比例划分为 训练集和测试集； S2、 使用Pytorch深度学习框 架， 搭建CSP ‑R‑FCN双阶段目标检测模型； S3、 搭 建模型训练和测试系统， 对CSP ‑R‑FCN双阶段目 标检测模型进行训练和测试， 直到其获得检测安 全帽佩戴的能力； S4、 提取 实际应用场景： 工地监 控的视频， 逐帧进行检测 并输出检测结果， 完成 对安全帽佩戴的检测。 本发明对视频流数据进行 逐帧检测， 标记出图像内所有人物的头部以及他 们的安全帽佩戴情况。 该方法不需要预设候选 框、 且具有较强的鲁棒性， 在各种应用场景下都 有高的检测精度。 权利要求书3页 说明书8页 附图2页 CN 114627425 A 2022.06.14 CN 114627425 A 1.一种基于深度学习的检测工人是否佩戴安全帽的方法， 其特征在于： 所述方法包括 以下步骤： S1、 获取足够数量的含有佩戴安全帽人物样本和未佩戴安全帽人物样本的安全帽检测 数据集， 并随即按一定比例划分为训练集和 测试集； 所述获取安全帽 检测数据集的方法， 包括： 1)对现有的安全帽数据集进行 数据清洗， 并将标签数据转换为VOC数据集的标注格式； 2)提取现有的行人检测数据集， 使用labelimg标注工具对所述行人检测数据进行重新 标注， 得到可用的安全帽 检测数据集； 所 标注的标签数据为VOC数据集的标注格式； 3)逐帧提取工地监控视频中的图片， 对所提取的图片进行筛选 并使用labelimg标注工 具标注， 得到可用的安全帽 检测数据集； 所 标注的标签数据为VOC数据集的标注格式； 所述获取的安全帽检测数据集的标签数据， 所标注的位置为图像内人物的头部； 所标 注的类别分为五类， 分别是： 佩戴黄色安全帽(yellow)、 佩戴红色安全帽(red)、 佩戴蓝色安 全帽(blue)、 佩戴白色安全帽(white)和未佩戴安全帽(none)； 其中， 未佩戴安全帽指的就 是没有佩戴安全帽， 无论是光头还是 受到照明的影响还是带了不是安全帽的帽子都包含在 内， 神经网络可以在训练过程中自行分辨哪些 是佩戴安全帽的， 哪些没有佩戴； S2、 使用Pytorch深度学习框架， 搭建CSP ‑R‑FCN双阶段目标检测模型， 所述CSP ‑R‑FCN 双阶段目标检测模 型包括骨干网络、 csp目标区域推荐模块、 R ‑FCN特征提取模块和R ‑FCN分 类预测模块； 所述骨干网络为在ImageNet数据 集上预训练好的VGG16的前 四个卷积块， 共13层： 其 中 第一层、 第二层、 第四层、 第五层、 第七层、 第 八层、 第九层、 第十一层、 第十二层和第十三层 均为卷积层， 且 卷积核大小均为3*3； 第三层、 第六层和第十层均为步长为2的最大池化下采 样层； 所述csp目标区域推荐模块接在骨干网络之后， 可分为三个阶段， 依次分别是： 残差特 征提取阶段、 多层特 征融合阶段和目标 预测阶段； 所述R‑FCN特征提取模块的输入为骨干网络的最后一层， 经过一个卷积核大小为3*3的 卷积层后， 分为置信度预测分支和 位置预测分支； 置信度预测分支和位置预测分支分别经 过均值池化层， 输出尺寸均为7*7的置信度预测特 征图与位置预测特 征图； 所述R‑FCN分类预测模块， 包括： 将输入的置信度预测特征图和位置预测特征图通过位 置敏感ROI池化(Position ‑sensitive  ROI Pooling)操作， 分别得到位置敏感的类别得分 图和回归得分图 S3、 搭建模型训练和测试系统， 对CSP ‑R‑FCN双阶段目标检测模型进行训练和测试， 直 到其获得检测安全帽佩戴的能力； S4、 提取实际应用场景： 工地监控的视频， 逐帧进行检测并输出检测结果， 完成对安全 帽佩戴的检测。 2.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法， 其特 征在于： 所述 步骤S2中， 所述残差特征提取阶段共由9个瓶颈层(BottleNeck  Layer)连接而成， 并在第一个瓶 颈层中做了下采样 操作； 所述 瓶颈层的表达方式为： 权　利　要　求　书 1/3 页 2 CN 114627425 A 2所述多层特征融合阶段将三个不同深度的卷积层所提取的特征上采样并做正规化操 作后进行拼接， 输入分别为上采样2倍的骨干网络最后一层、 上采样4倍的残差特征提取阶 段第六层和上采样4 倍的残差特 征提取阶段第九层； 所述目标预测阶段接在多层特征融合阶段之后， 经过一个卷积核大小为3*3的卷积层 后， 输出三个预测分支， 分别为中心点(center)、 尺寸(scale)和偏置(offset)， 实现对目标 检测区域的推荐； 所述的推荐区域 为人体的头 部； 所述的置信度预测特征图共有49*6＝296个， 对应6个检测类别(背景、 佩戴黄色安全 帽、 佩戴红色安全帽、 佩戴蓝色安全帽、 佩戴白色安全帽、 未佩戴安全帽)， 特征图尺寸为7* 7； 对应检测框的4个位置参数的偏移量(中心点 坐标、 宽、 高)， 特 征图尺寸 为7*7。 3.根据权利要求1所述的一种基于深度学习的检测工人是否佩戴安全帽的方法， 其特 征在于： 所述步骤S3中， 所述模型训练和测试系统， 包括： 数据预处理模块、 损失函数模块、 训练模块、 训练日志存 储模块和测试模块； 所述的数据预处 理模块， 包括： 1)将图像尺寸按比例地缩放 为16的倍数； 2)对图像做高斯滤波处 理； 3)将所读取的图像数据转 化为Pytorc h中的张量(Tensor)格式； 所述损失函数模块， 包含了csp目标区域推荐模块与R ‑FCN分类预测模块两部分的损失 函数； 所述训练模块， 包括端到端训练方式与分阶段训练方式； 所述的端到端训练即csp目标 区域推荐模块与R ‑FCN分类预测模块同步训练； 分阶段训练即先训练R ‑FCN分类预测模块， 再训练csp目标区域推荐模块； 所述测试模块， 包括： 测试csp目标区域推荐模块对图像中人体头部的推荐能力； 测试 R‑FCN分类预测模块对目标的识别能力； 计算各模 型的对每一种检测类别的精度和召回率； 从而判断模型 是否已具有检测安全帽佩戴的能力。 4.根据权利要求3所述的一种基于深度学习的检测工人是否佩戴安全帽的方法， 其特 征在于： 所述步骤S3中， 所述损失函数模块包含了csp目标区域推荐模块与R ‑FCN分类预测 模块两部分的损失函数； 其中， 所述csp目标区域推荐模块的损失函数分为中心点损失(Lcenter)、 尺度损失 (Lscale)和偏置损失(Loffset)； 中心点损失(Lcenter)为： 其中， 其中γ和β 为预设的超参数， 本实施例中设γ＝2， β ＝4； pij∈[0,1]为csp目标区域推荐 模块输出的center概 率,Mij为在center特 征图上每 个正样本位置应用的高斯掩膜编码： 权　利　要　求　书 2/3 页 3 CN 114627425 A 3