(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210812432.7 (22)申请日 2022.07.12 (71)申请人 刘至键 地址 523320 广东省东莞 市石龙镇广播电 视大楼 (72)发明人 刘至键　 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/59(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) H04N 7/18(2006.01) (54)发明名称 基于机器视觉安全带佩戴检测方法、 装置及 相关设备 (57)摘要 本发明涉及一种基于机器视觉安全带佩戴 检测方法、 装置及相关设备， 该方法针对道路交 通视频监控系统对行驶车辆的乘员进行安全带 佩戴状态的检测等问题， 提出以CSPNet网络模型 与YOLO‑K算法取出疑似目标， 再结合传统机器视 觉算法进行筛选从而达到准确、 快速、 智能化的 诊断方式。 YOL O‑K算法的检测速度比传统算法提 高了上百倍， 可满足道路 交通监控系统的高效需 求， 再加入机器视觉算法对目标做形状拟合， 对 角度、 色值、 轮廓、 大小等维度做判断， 从而进一 步提升检测准确率与检出率。 权利要求书3页 说明书7页 附图2页 CN 115035461 A 2022.09.09 CN 115035461 A 1.基于机器视觉安全带佩戴检测方法， 应用于电子设备， 其特征在于， 该方法包括以下 具体步骤： 步骤1： 在输入端模块中， 从道路交通视频监控系统中调取IP视频流， 对视频流进行抽 帧， 对抽帧的图像进行清洗处理得到的待测图像， 待测图像分成训练集图片、 测试集图片、 验证集图片三部 分， 其中训练集图片占比是8 5%、 测试集图片占比是13%、 验证集图片占比是 2%， 在训练集图片和测试集图片中将识别目标做好标注， 形成最终的训练集图片和测试集 图片， 验证集图片不进行识别目标的标注， 本步骤完成训练集图片和 测试集图片的生成； 步骤2： 将步骤1标注好的训练集图片组成训练集， 放入主干模块中通过深度网络训练 得到模型； 训练过程分别采用Mosaic数据增强、 自适应锚框计算、 自适应图片缩放三种技术 方法； 一是使用Mosaic数据增强技术， 通过随机缩放、 随机裁剪、 随机排布的方式进 行拼接， 使小目标识别性能提升， 实现对于小目标的训练效果的提高； 二是使用自适应锚框计算技 术， 在训练时， 自适应的计算不同训练集的最佳锚框值； 三是使用自适应图片缩放技术， 对 图片进行缩放， 对黑边进行缩减， 进行像素取余， 减小CPU和GPU推理时的计算量， 将要识别 的图片转换成416*x的尺寸(其中x是32的倍数)， 具体实施时， 第一步： 计算缩放比例， 当输 入为800*600图片时， 目标缩放尺寸是416*416， 除以原始图像的尺寸后(416/800=0.52  ； 416/600=0.69)， 可以得到0.52， 和0.69两个缩放系数， 选择小的缩放系数0.52； 第二步： 计 算缩放后的尺寸,  原始图片的长宽 （800*600） 都乘以最小的缩放系数0.52， 宽变成了416， 而高变成了312;  第三步： 计算黑边填充数值,  将416‑312=104， 得到原本需要填充的高度； 再采用numpy中np.mod操作， 取余数的方式， 得到8个像素， 结果是np.mod （104， 32） =8， 再除 以2， 即得到图片高度两端需要填充的数值,  填充灰色， 即 （114,114,114） ， 并得到自适应图 片缩放处 理后的图片， 通过本步骤使用训练集图片对主干模块进行训练得到训练模型； 步骤3： 将步骤1标注好的测试集图片组成测试集， 放入主干模块中通过深度网络测试 得到模型的测试初筛结果； 测试初筛过程分别采用Focus技术和CSPNet深度网络两种 技术 方法； 其中Focus技术是切片操作； CSPNet深度网络是跨阶段局部网络， 通过网络后， 基础层 的特征图划分为两个部分， 然后再通过一个跨 阶段级连将这两个部分整合起来， 通过分开 梯度流， 使梯度流可以在不同的网络 路径上传播， 作用是极大地降低CPU和GPU的计算量， 提 升推理速度和准确率； 具体实施时， 调用步骤2训练好的训练模型进行测试， 第一步采用  Focus技术， 将608* 608*3的图像输入 Focus网络结构中， 进行切片操作， 变成304*304*12的特征图， 再经过一次 32个卷积核的卷积操作， 转换成304*304*32的特征图； 再放入基于CSPNet深度网络中， 通过 网络后， 基础层的特征图划分为两个部分， 然后再通过一个跨阶段级连将这两个部分整合 起来， 通过分开梯度流， 使梯度流可以在不同的网络路径上传播； 通过变换concat操作通过张量拼接实现维度扩充以及transition操作， 使传播后的梯 度流会有较大的相关性差异， 极大地降低CPU和GPU的计算量， 提升推理速度和准确率； 通过 以上操作， 测试集在主干模块中使用训练模型 得到模型初筛结果； 步骤4： 将步骤3得到的模型初筛结果， 放入中间模块中进行融合特征的加强， 作用是为 了更好的提取融合特征， 中间模块中分别采用SPP池化技术、 FPN技术和PAN技术三种技术方 法； 其中在SPP池化技术中， 使用k={1 ×1,5×5,9×9,13×13}的最大池化的方式， 再将不同 尺度的特征图进 行Concat操作通过张量拼接实现维度扩充， 通过发 明人对比测试， 采用SPP权　利　要　求　书 1/3 页 2 CN 115035461 A 2池化技术， 比单纯的使用k ×k最大池化的方式， 更有效的增加主干特征的接收范围， 显著的 分离了特征图中的最重要的上下文特征， 在实施中， 使用608 ×608大小的图像进行测试时 发现， 在COCO 目标检测任务中， 以0.5%的额外计算代价将AP50增加了2.7%； FPN技术中主要 使用特征金字塔技术， 对图像中存在不同尺寸的目标， 而不同的目标具有不同的特征， 利用 浅层的特征就可以将简单的大尺寸目标的区分开来； 利用深层的特征可以将复杂的精细目 标区分开来， FPN技术自顶向下传达强语义特征， 能够提升小目标的检测效果； PA N技术中主 要使用自底向上 的特征金字塔技术， 通过增加了一个低层到高层的通道， 将低层信息直接 向上进行传递， 提高底层信息的利用率， 实现强定位特征； 通过以上操作， 测试集在中间模 块中加强网络特 征融合的能力， 使用训练模型 得到模型初步结果； 步骤5： 将步骤4得到的模型初步结果， 放入输出端模块中进行输出结果预测， 得到类别 及可信度参数， 并于图片上标出目标框； 为提高输出准确度， 在输出端模块中分别使用 KIOU_Loss预测框技术和DIOU_nms非极大值抑制技术两种技术方法； 其中KIOU_Loss技术的 方法是对现有两个任意的目标框A和B， 找到一个最小的封闭形状C， 让C可以将A和B包围在 里面， 然后我们计算C中没有覆盖A和B的面积占C总面积的比例， 然后用A和B的IOU值减去这 个比值， 实现预测精度的提高； 步骤6： 对图片上标出目标框的区域采用机器视觉方法进行二值化和斜线轮廓闭合操 作， 在拟合斜线的区域取设定角度符合安全带佩戴可信的方法得到较为准确的识别结果， 并在电子设备 上输出驾驶员佩戴安全带的最终结果； 步骤7： 将步骤6得到的最终结果， 记录 到存储器中。 2.根据权利要求1所述基于机器视觉安全带佩戴检测方法， 应用于电子设备， 其特征在 于： 步骤5中， 具体是： 在输出端模块中使用KIOU_L oss预测框技 术,提高目标检测的准确性； 其中， Distace_c是目标框的对角线距离； Distace_2是预测框中心点与目标框中心点 的欧氏距离； v 是衡量长宽比一致性的参数， wgt  是预测框的宽度； hgt  是预测框的高度； wp 是目标框的宽度;hp是目标框的高度； 设置KIOU_Loss阈值， 根据输出端模块KIOU_Loss的值 的大小， 通过阈值滤掉得分低的 区域， 对保留的区域进行非极大值抑制处 理， 得到YOLO‑K算法的检测结果。 3.根据权利要求1所述基于机器视觉安全带佩戴检测方法， 应用于电子设备， 其特征在 于： 步骤6中， 具体是： 在得到清晰的YOLO ‑K算法筛选过的疑似区域之后， 先对图像进 行边缘 增强及锐化， 再根据安全带 的色值做灰度化以及二值化分割， 将安全带与浅色背景分割开 来， 再通过Canny算子对其进行轮廓提取， 在得到清晰轮廓后， 则在轮廓上随机取点进行长 条形拟合， 若拟合长条形区域与二值化后安全带所在拟合长条形的区域重叠部 分超过一定 值时， 则可以判断此区域内的形状大致为长条形， 同时长条形呈一定角度， 即符合安全带的 形状特点可将其判定为 安全带。 4.根据权利要求3所述基于机器视觉安全带佩戴检测方法， 应用于电子设备， 其特征在 于： 若拟合长条形区域与二值化后安全带所在拟合长条形 的区域重叠部分超过95％以上，权　利　要　求　书 2/3 页 3 CN 115035461 A 3