(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210766081.0 (22)申请日 2022.07.01 (71)申请人 西南交通大 学 地址 610031 四川省成 都市二环路北一段 申请人 南宁学院 (72)发明人 苟先太　钱照国　苟瀚文　康立烨　 金炜东　陈强　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 吕春艳 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/11(2017.01)G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种结合目标检测和语义分割的安全带违 规佩戴检测方法 (57)摘要 本发明公开了一种结合目标检测和语义分 割的安全带违规佩戴检测方法， 涉及安全带佩戴 检测技术领域。 该方法包括采集施工现场图像数 据； 构建目标检测网络模型， 利用采集的施工现 场图像数据预测人员关键点定位信息、 全身系带 检测信息和脚手架区域定位信息； 根据人员关键 点定位信息和全身系带检测信息与脚手架区域 定位信息的相对位置判断是否进行安全带挂绳 检测； 根据人员关键点定位信息提取挂绳区域的 矩形框图像； 构建语义分割网络模型， 从提取的 挂绳区域的矩形框图像中识别挂绳位置； 根据挂 绳位置确定安全 带是否存在违规佩戴行为。 本发 明实现了安全 带违规佩戴的智能化检测， 提高了 检测的实时性和准确性， 并且更加适用于移动设 备采集的图像 检测。 权利要求书3页 说明书8页 附图1页 CN 115131732 A 2022.09.30 CN 115131732 A 1.一种结合目标检测和语义分割的安全带违规佩戴检测方法， 其特征在于， 包括以下 步骤： S1、 采集施工现场图像数据； S2、 构建目标检测网络模型， 利用采集的施工现场图像数据 预测人员关键点定位信息、 全身系带检测信息和脚手架区域定位信息； S3、 根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的相对位置 判断是否进行安全带挂绳检测； 若是， 则执 行步骤S4； 否则结束流 程； S4、 根据人员关键点定位信息提取挂绳区域的矩形框图像； S5、 构建语义分割网络模型， 从提取的挂绳区域的矩形框图像中识别挂绳位置； S6、 根据挂绳位置确定安全带 是否存在违规佩戴行为。 2.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S2具体包括以下分步骤： S2‑1、 采用特 征融合卷积神经网络对施工现场图像数据提取 特征图像； S2‑2、 对提取的特 征图像进行 上采样生成分支特 征图； S2‑3、 采用多分支预测神经网络对分支特征图进行预测， 得到人员关键点定位信息、 全 身系带检测信息和脚手架区域定位信息 。 3.根据权利要求2所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S2 ‑1中特征融合卷积神经网络的计算过程 为： 其中， I表示第n层网络的深度特征迭代输出； xn表示第n层网络输出； Node表示聚合函 数； 表示中间计算模块从第m层到第n层网络输出； Tm(x)表示第m层特征融合卷积神经 网络输出； Tn表示第n层特征融合卷积神经网络输出； 表示中间计算模块从第1层到 第n层网络 输出； B表示卷积函数； 表示后续计算模块从第1层到第n层网络 输出。 4.根据权利要求2所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S2 ‑2中对提取的特 征图像进行 上采样的计算方式为： o＝s(i‑1)+2p‑k+2 其中， i表示特征图像输入尺寸； s表示步长的大小； p表示特征图像边界扩充值； k表示 卷积核大小； o表示输出分支特 征图的尺寸。 5.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S 3中根据人员关键点定位信息和全身系带检测信息与脚手架区域定位信息的 相对位置判断是否进行安全带挂绳检测具体包括： 根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋转目标权　利　要　求　书 1/3 页 2 CN 115131732 A 2框的相交关系； 根据人体目标框和脚手架旋转目标框的相交关系结合全身系带检测信息判断是否进 行安全带挂绳检测。 6.根据权利要求5所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 所述根据人员关键点定位信息和脚手架区域定位信息计算人体目标框和脚手架旋 转目标框的相交关系具体为： 选取人体目标框的一条边作为第 一线段， 选取脚手架旋转目标框的一条边作为第 二线 段， 采用下式计算第一线段和第二线段的相交结果： result1＝sin( θ1)×sin( θ2) result2＝sin( θ3)×sin( θ4) 其中， result1表示第一相交结果； θ1表示第一线段 的一个端点与第二线段 的两个端点 之间的夹角； θ2表示第一线段的另一个端点与第二线段的两个端点之间的夹角； result2表 示第二相交结果； θ3表示第二线段的一个端点与第一线段的两个端点之间的夹角； θ4表示第 二线段的另一个端点与第一线段的两个端点之间的夹角； 当满足第 一相交结果和第 二相交结果均小于或等于0时， 第 一线段和第 二线段相交； 否 则第一线段和第二线段不相交。 7.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S4具体包括： 选取人员关键点定位信息中左脚踝关键点和右脚踝关键点中纵坐标更大的对应腿部 作为判别目标， 并将该腿部中膝盖关键点到脚踝关键点的纵坐标的距离作为矩形框的高 度； 将左肩关键点到左臀关键点和右肩关键点到右臀关键点中较大欧式距离的设定倍数 作为矩形框的宽度； 将膝盖关键点和脚踝关键点分别作为矩形框的上 下两边的中点。 8.根据权利要求1所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S5具体包括以下分步骤： S5‑1、 对提取的挂绳区域的矩形框图像进行统一尺寸处 理； S5‑2、 采用卷积神经网络提取步骤S5 ‑1处理后的矩形框图像的卷积特 征； S5‑3、 采用ASPP金字塔结构将步骤S5 ‑2提取的卷积特征进行特征融合， 得到编码特征 图； S5‑4、 采用双线性插值方法对得到的编码特 征图进行解码， 识别得到挂绳位置 。 9.根据权利要求8所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 步骤S5 ‑3中ASPP金字塔结构采用6、 12、 18空洞卷积作为图像不同感受野的特征提 取， 然后经 过一层池化层进行 特征融合处 理。 10.根据权利要求9所述的结合目标检测和语义分割的安全带违规佩戴检测方法， 其特 征在于， 所述空洞卷积的计算方式为： l＝w+(w‑1)*(u‑1)权　利　要　求　书 2/3 页 3 CN 115131732 A 3