(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111665665.0 (22)申请日 2021.12.3 0 (71)申请人 国网河北省电力有限公司电力科 学 研究院 地址 050021 河北省石家庄市体 育南大街 238号 申请人 国家电网有限公司 　 国网河北能源技 术服务有限公司 (72)发明人 姜义虎　贾伯岩　齐锦涛　马天祥　 魏力强　李小玉　贾静然　李丹　 段昕　沈宏亮　 (74)专利代理 机构 石家庄国为知识产权事务所 13120 代理人 李荣文(51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 一种作业人员安全防护合规识别方法、 装置 及终端 (57)摘要 本发明适用于安全防护合规识别技术领域， 提供了一种作业人员安全防护合规识别方法、 装 置、 及终端。 该方法包括： 获取目标作业区域的作 业图像； 基于预设的目标检测模 型检测所述作业 图像中的作业人员以及作业人员佩戴的安全防 护用具， 得到框选出作业人员的第一框选图像、 以及框选出作业人员佩戴的安全防护用具的第 二框选图像； 最后将第一框选图像和第二框选图 像输入至 预设的多任务识别模型中， 以判断目标 作业区域内各个作业人员的安全防护用具的佩 戴是否合规。 本发明能够提高作业人员安全防护 合规识别的效率。 权利要求书2页 说明书12页 附图2页 CN 114332770 A 2022.04.12 CN 114332770 A 1.一种作业人员安全防护合 规识别方法， 其特 征在于， 包括： 获取目标作业区域的作业图像； 基于预设的目标检测模型检测所述作业图像中的作业人员以及作业人员佩戴的安全 防护用具， 得到框选出作业人员的第一框选图像、 以及框选出作业人员佩戴的安全防护用 具的第二框 选图像； 将所述第一框选图像和第 二框选图像输入至预设的多任务识别模型中， 以判断目标作 业区域内各个作业人员的安全防护用具的佩戴是否合 规。 2.根据权利要求1所述的作业人员安全防护合规识别方法， 其特征在于， 所述安全防护 合规识别方法还 包括目标检测模型的训练方法； 所述目标检测模型的训练方法包括： 获取目标作业区域的历史作业图像以及历史作业图像对应的第一标注信息； 其中， 所 述第一标注信息用于框选历史作业图像中的作业人员、 框选历史作业图像中作业人员佩戴 的安全防护用具； 将所述历史作业图像以及所述第一标注信息输入至预设的CenterNet网络结构中， 训 练得到目标检测模型。 3.根据权利要求1所述的作业人员安全防护合规识别方法， 其特征在于， 所述安全防护 合规识别方法还 包括多任务识别模型的训练方法； 所述多任务识别模型的训练方法包括： 获取目标作业区域内框选出作业人员的第 一历史框选图像、 框选出作业人员佩戴的安 全防护用具的第二历史框选图像、 以及作业人员对应的第二标注信息； 其中， 所述第二标注 信息用于标识作业人员佩戴的安全防护用具 是否合规； 将所述第一历史框选图像、 所述第 二历史框选图像以及所述第 二标注信 息输入至预设 的神经网络结构中， 训练得到多任务识别模型。 4.根据权利要求1所述的作业人员安全防护合规识别方法， 其特征在于， 所述安全防护 合规识别方法还 包括目标检测模型的训练方法以及多任务识别模型的训练方法； 所述目标检测模型的训练方法以及多任务识别模型的训练方法， 包括： 获取目标作业区域的历史作业图像以及历史作业图像对应的第三标注信息； 其中， 所 述第三标注信息用于框选历史作业图像中的作业人员、 框选历史作业图像中作业人员佩戴 的安全防护用具、 标识作业人员佩戴的安全防护用具 是否合规； 将所述历史作业图像输入至预设的CenterNet网络结构中， 得到框选出作业人员的第 一历史框 选图像、 以及框 选出作业人员佩戴的安全防护用具的第二历史框 选图像； 将所述第一历史框选 图像、 所述第二历史框选 图像输入至预设的神经网络结构中， 得 到作业人员佩戴的安全防护用具的合 规识别结果； 基于所述第一历史框选 图像、 所述第二历史框选 图像、 所述合规识别结果以及所述第 三标注信息确定目标检测模型以及多任务识别模型的联合 误差； 若所述联合误差大于预设误差值， 则按照预设规则优化所述CenterNet网络结构的权 重系数和所述神经网络结构的权重系数， 并返回执行将所述历史作业图像输入至预设的 CenterNet网络结构中的步骤； 若所述联合误差不大于预设误差值， 则将当前的CenterNet网络作 为目标检测模型， 将权　利　要　求　书 1/2 页 2 CN 114332770 A 2当前的神经网络作为多任务识别模型； 其中， 当前的CenterNet网络包含所述CenterNet网络结构以及所述CenterNet网络结 构当前对应的权重系数， 当前的神经网络包含所述神经网络结构以及所述神经网络结构当 前对应的权 重系数。 5.根据权利要求4所述的作业人员安全防护合规识别方法， 其特征在于， 所述基于所述 第一历史框选图像、 所述第二历史框选图像、 所述合规识别结果以及所述第三标注信息确 定目标检测模型以及多任务识别模型的联合 误差， 包括： 将所述第一历史框选 图像、 所述第二历史框选 图像、 所述合规识别结果与所述第三标 注信息进行比较， 确定目标检测模型以及多任务识别模型的联合 误差为： L＝ λ1l1+λ2l2+λ3l3； 其中， l1为所述第一历史框选图像与所述第三标注信息比较得到的误差、 l2为所述第二 历史框选图像与所述第三标注信息比较得到的误差、 l3为所述合规识别结果与所述第三标 注信息比较得到的误差， λ1、 λ2、 λ3分别为l1、 l2、 l3各自的误差因子 。 6.根据权利要求1至5任一项所述的作业人员安全 防护合规识别方法， 其特征在于， 所 述将所述第一框选图像和所述第二框选图像输入至预设的多任务识别模型中， 以判断目标 作业区域内各个作业人员的安全防护用具的佩戴是否合 规， 包括： 将所述第一框选图像和所述第 二框选图像输入至预设的多任务识别模型中， 得到多任 务识别结果； 累计预设时长的多任务识别结果； 若预设时长内的多任务识别结果显示某个作业人员在该预设时长内安全防护用具佩 戴不合规的时长超过 预设阈值， 则判定该作业人员的安全防护用具佩戴不 合规； 若预设时长内的多任务识别结果显示某个作业人员在该预设时长内安全防护用具佩 戴不合规的时长不超过 预设阈值， 则判定该作业人员的安全防护用具佩戴合 规。 7.根据权利要求1至5任一项所述的作业人员安全 防护合规识别方法， 其特征在于， 所 述作业人员安全防护合 规识别方法还 包括： 若判定某作业人员的安全 防护用具佩戴不合规， 则控制 发出提示信号； 所述提示信号 用于提示该作业人员其存在不 合规佩戴行为。 8.一种作业人员安全防护合 规识别装置， 其特 征在于， 包括： 图像获取 单元， 用于获取目标作业区域的作业图像； 图像检测单元， 用于基于预设的目标检测模型检测所述作业图像中的作业人员以及作 业人员佩戴的安全防护用具得到框选出作业人员的第一框选图像、 以及框选出作业人员佩 戴的安全防护用具的第二框 选图像； 判断单元， 用于将所述第一框选图像和第二框选图像输入至预设的多任务识别模型 中， 以判断目标作业区域内各个作业人员的安全防护用具的佩戴是否合 规。 9.一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如上的权利要求1至7 中任一项所述方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如上的权利要求1至7中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114332770 A 3