(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211001140.1 (22)申请日 2022.08.19 (71)申请人 安徽继远软件 有限公司 地址 230088 安徽省合肥市高新区习友路 1800号 (72)发明人 窦国贤　陶俊　杨彬彬　毛舒乐　 吴小华　 (74)专利代理 机构 合肥维可专利代理事务所 (普通合伙) 3413 5 专利代理师 吴明华 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/16(2022.01) G06N 3/08(2006.01) G06Q 50/06(2012.01)G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 作业现场数字化安全管控方法、 装置、 设备 和存储介质 (57)摘要 本发明涉及电力电网技术领域， 具体涉及一 种作业现场数字化安全管控方法、 装置、 设备和 存储介质。 该方法实时获取现场作业视频图像数 据， 对视频图像数据预处理， 得到目标图像数据； 基于深度神经网络模型对载入的含有不同种类 目标图片数据进行训练， 配合边缘摄像机中的AI 芯片算力， 对所述目标图像数据实时分析， 识别 和定位出目标图像数据中不同种类的多目标区 域； 对比后判断是否出现违章， 若出现违章情况 则生成报警逻辑信号告警， 反馈给作业管理终 端， 并在实时获取现场作业视频图像数据中框选 并标注对应的单个目标的目标区域。 有利于现场 作业关键环节的人员安全管控和违章判定， 进而 实现违章行为上报和违章行为告警语音播报等 应用。 权利要求书2页 说明书9页 附图2页 CN 115471865 A 2022.12.13 CN 115471865 A 1.一种作业现场数字化安全管控方法， 其特征在于， 应用于现场作业多目标人员违章 行为识别， 该 方法包括： 实时获取现场作业视频图像数据， 对视频图像数据预处 理， 得到目标图像数据； 基于深度神经网络模型对载入的含有不同种类目标图片数据进行训练， 配合边缘摄像 机中的AI芯片算力， 对所述目标图像数据实时分析， 识别和定位出目标图像数据中不同种 类的多目标区域； 在所述目标图像数据中标记处多目标区域， 并依据单个目标的类别与标准数据库对 比， 判断是否出现违章， 若出现违章情况则生成报警逻辑信号告警， 并反馈给作业管理终 端； 基于违章情况在实时获取现场作业视频图像数据中框选并标注对应的单个目标的目 标区域。 2.如权利要求1所述的作业现场数字化安全管控方法， 其特征在于， 所述对所述目标图 像数据实时分析， 识别和定位出目标图像数据中不同种类的多目标区域， 识别类型包括作 业车辆识别、 烟火识别、 安全帽识别、 人脸识别以及违章作业行为识别； 所述作业车辆识别为对作业车辆类型、 车身颜色、 车牌号码、 驾驶人进行识别分析； 所 述烟火识别为对作业现场环境烟火进 行识别； 所述安全帽识别为监督作业人员自觉正确佩 戴安全帽； 所述人脸识别为根据实时获取的人脸特征信息判断待检测的目标是否存在于人 脸数据库中， 进行作业现场身份验证以及身份信息检索； 所述违章作业行为识别为对作业 工人违反规定进入禁区或违反操作规范作业进行识别。 3.如权利要求1所述的作业现场数字化安全管控方法， 其特征在于， 基于深度神经网络 模型对载入的含有不同种类目标图片数据进行训练， 配合边缘摄像机中的AI芯片算力， 包 括： 基于视觉的违章行为分析与识别， 从载入的采集视频图像序列中检测、 分割和跟踪运 动目标并对目标 行为进行分析与理解， 学习和识别人体行为； 对采集视频图像序列进行识别训练后采用测试数据集进行测试， 获取基于深度 学习的 多目标行为识别模型。 4.如权利要求3所述的作业现场数字化安全管控方法， 其特征在于， 所述作业现场数字 化安全管控方法在实时获取现场作业视频图像数据时， 还 包括单目标跟踪和多目标跟踪； 所述单目标跟踪为提取现场作业视频图像数据中的目标和背景信 息用来训练分类器， 目标从图像序列背 景中分离出来， 得到 当前帧的目标位置； 其中， 提取现场作业视频图像数 据中的目标和背 景信息时判别的分类器采用机器学习策略， 训练中分类器根据背 景信息区 分现场作业视频图像数据中的前 景和背景； 所述多目标跟踪利用外观特征的相似性进行现场作业视频图像数据中相邻帧之间或 者预测目标和观测目标之间的关联。 5.如权利要求4所述的作业现场数字化安全管控方法， 其特征在于， 识别和定位出目标 图像数据中不同种类的多目标区域时， 还包括获取目标在作业现场的实际位置并定位， 对 作业现场目标定位采用W IFI、 蓝牙、 RFID、 UWB、 ZigBe e定位中的一种或多种。 6.如权利要求3所述的作业现场数字化安全管控方法， 其特征在于， 获取基于深度 学习 的多目标行为识别模 型时， 深度学习的多目标行为识别模 型采用AutoEncoder自动编码 器，权　利　要　求　书 1/2 页 2 CN 115471865 A 2基于Faster  R‑CNN模型在非监 督数据上建立多层神经网络 。 7.一种作业现场数字化 安全管控系统， 其特 征在于， 包括： 数据获取模块， 用于实时获取现场作业视频图像数据， 对视频图像数据 预处理， 得到目 标图像数据； 目标识别模块， 用于基于深度神经网络模型对载入的含有不同种类目标图片数据进行 训练， 配合边缘摄像机中的A I芯片算力， 对所述目标图像数据实时分析， 识别和定位出目标 图像数据中不同种类的多目标区域； 违章比对模块， 用于在所述目标图像数据中标记处多目标区域， 并依据单个目标的类 别与标准数据库对比， 判断是否出现违章， 若出现违章情况则生成报警逻辑信号告警， 并反 馈给作业管理终端； 违章标注模块， 用于基于违章情况在实时获取现场作业视频图像数据中框选并标注对 应的单个目标的目标区域。 8.如权利要求7所述的作业现场数字化安全管控系统， 其特征在于， 目标跟踪模块， 所 述目标跟踪模块用于进行 单目标跟踪和多目标跟踪。 9.一种计算机设备， 其特征在于， 所述计算机设备包括处理器、 存储器、 以及存储在所 述存储器上并可被所述处理器执行的作业现场数字化安全管控程序， 其中所述作业现场数 字化安全 管控程序被所述处理器执行时， 实现如权利要求 1至6中任一项 所述的作业现场数 字化安全管控方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有作业现 场数字化安全管控程序， 其中所述作业现场数字化安全管控程序被处理器执行时， 实现如 权利要求1至 6中任一项所述的作业现场数字化 安全管控方法的步骤。权　利　要　求　书 2/2 页 3 CN 115471865 A 3