(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210895171.X (22)申请日 2022.07.26 (71)申请人 江苏东印智慧工程 技术研究院有限 公司 地址 211112 江苏省南京市江宁区天元东 路1009号 （江宁高新园） 申请人 东南大学 (72)发明人 吴刚　戴姣　张华　吕艳洁　刘慧　 侯士通　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 徐尔东 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01)G06V 40/16(2022.01) H04N 7/18(2006.01) (54)发明名称 一种基于计算机视觉的人员施工安全行为 识别方法以及系统 (57)摘要 本发明涉及一种基于计算机视觉的人员施 工安全行为识别方法以及系统， 识别方法具体包 括以下步骤： 步骤S1： 在施工工地安装若干摄像 头， 视频流解析模块从若干摄像头处获取帧信 息， 帧信息包括若干摄像头的编号、 系统时间以 及帧图像数据， 同时将帧信息存储在缓冲队列 中； 步骤S2： 人员施工安全行为分析模块从缓冲 队列中获取帧信息， 根据若干摄像头请求的具体 功能调用匹配功能模块进行计算， 得到相应请求 功能结果； 本发 明所提方法相比传统施工安全监 测方法， 可有效利用现有施工现场监管设备， 进 一步提高监管效率， 覆盖面广， 监管及时， 可提高 监管效率， 及时发现非安全行为， 减少监管人员 工作量。 权利要求书3页 说明书8页 附图7页 CN 115439800 A 2022.12.06 CN 115439800 A 1.一种基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 具体包括以下步 骤： 步骤S1： 在施工工地安装若干摄像头， 视频流解析模块从若干摄像头处获取帧信息， 帧 信息包括若干摄 像头的编号、 系统时间以及帧图像数据， 同时将帧信息存 储在缓冲队列中； 步骤S2： 人员施工安全行为分析模块从缓冲队列中获取帧信息， 根据若干摄像头请求 的具体功能调用匹配功能模块进行计算， 得到相应请求功能结果； 其中， 若干摄像头请求的匹配功能模块包括穿/未穿安全服分类模型、 戴/未戴安全帽 分类模型、 区域人数 统计模块、 徘徊人员检测模块、 区域入侵检测模块、 安全晨 会检测模块、 保安脱岗模块、 超员模块、 正常/吸烟/打电话分类模型以及摔倒/正常 分类模型。 2.根据权利要求1所述的基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 步骤S1中， 视频流解析模块利用opencv工具， 采用多线程策 略访问施工工地上安装的若干 摄像头， 获取摄像头的编号、 系统时间以及 对应当前摄像头当前时刻的帧图像数据， 构成帧 信息， 存储至数据缓冲队列中。 3.根据权利要求1所述的基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 步骤S2中， 若摄 像头请求 安全服识别功能， 具体包括以下步骤： 步骤S211： :对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes； 步骤S212： 基于位置信息以及帧图像数据得到具体的人员图像数据， 启动穿/未穿安全 服分类模型， 利用穿/未穿安全服分类模型对人员图像数据进一步分类， 得到其类别信息， 保存未穿 安全服人员的位置信息； 若摄像头请求 安全帽识别功能， 具体包括以下步骤： 步骤S221： 对帧图像数据进行人员头部检测， 得到帧图像数据内的所有人员头部位置 信息boxes； 步骤S222： 基于位置信息以及帧图像数据得到具体的人员头部图像数据， 启动戴/未戴 安全帽分类模型， 利用戴/未戴安全帽分类模型对头部数据进一步分类， 得到其类别信息， 保存未戴安全帽人员的位置信息； 若摄像头请求 摔倒识别功能， 具体包括以下步骤： 步骤S231： 对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes； 步骤S232： 基于位置信息以及帧图像数据得到具体的人员图像数据， 启动摔倒/正常分 类模型， 利用摔倒/正常分类模型对人员图像数据进一步分类， 得到其类别信息， 保存摔倒 人员的位置信息； 若摄像头请求吸烟检测功能， 具体包括以下步骤： 步骤S241： 对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes； 步骤S242： 基于位置信息以及帧图像数据得到具体的人员图像数据， 启动正常/吸烟/ 打电话分类模型， 利用正常/吸烟/打电话分类模型对人员图像数据进一步分类， 得到其类 别信息， 保存吸烟人员的位置信息； 若摄像头请求打电话检测功能， 具体包括以下步骤：权　利　要　求　书 1/3 页 2 CN 115439800 A 2步骤S251： 对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes； 步骤S252： 基于位置信息以及帧图像数据得到具体的人员图像数据， 启动正常/吸烟/ 打电话分类模型， 利用正常/吸烟/打电话分类模型对人员图像数据进一步分类， 得到其类 别信息， 保存打电话人员的位置信息 。 4.根据权利要求3所述的基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 步骤S2中， 若摄 像头请求区域人 数统计功能， 具体包括以下步骤： 步骤S261： 对帧图像数据进行人员检测， 启动安全帽识别功能模块， 利用安全帽识别功 能模块获取帧图像内所有人员头 部信息， 包 含位置信息、 是否佩戴安全帽； 步骤S262： 根据人员头部中心坐标以及先验信息进一步处理得到人员底部中心坐标， 判断人员底部坐标是否处于多边形区域内， 获取多边形内的人员总 数； 前述的多边形区域 为摄像头辐射的待检测区域； 步骤S263： 启动安全帽功能分类模型对多边形区域内的佩戴安全帽的人员头部数据进 行分类， 统计各工种的员工数量， 区域人数 统计模块得到多边形区域内人员总数、 各工种员 工数量信息， 其中多变形区域内人员总数包括区域内佩戴安全帽的人数以及区域内未佩戴 安全帽的人 数。 5.根据权利要求4所述的基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 步骤S2中， 若摄 像头请求超员检测功能， 超员模块的实施具体包括以下步骤： 步骤S271： 对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes； 步骤S272： 超员 模块设定超员阈值， 统计所有人员数量， 判断是否超过所设超员阈值， 若连续多帧超过阈值， 则判定发生超员事 件， 保存超员事件帧。 6.根据权利要求5所述的基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 步骤S2中， 若摄 像头请求保安脱岗检测功能， 具体包括以下步骤： 步骤S281： 对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes； 步骤S282： 启动保安脱岗模块， 对获取的人员数据信息进一步分类， 确认当前帧图像内 是否存在保安人员； 步骤S283： 若存在保安人员， 则保安处于在岗状态， 否则， 保安处于离岗状态， 并记录当 前时间start_time， 持续进行监测， 直到再次监测到保安在岗状态， 记录当前时间end_ time， 此时完成一次脱岗事 件； 步骤S284： 基于步骤S283得到的脱 岗开始时间start_time和结束时间end_time， 得到 脱岗总时间， 保安脱 岗模块设置脱 岗时间阈值， 基于脱 岗时间阈值判断当前脱 岗事件是否 是一次有效脱岗， 若不满足 阈值， 则不属于脱岗事件， 否则， 返回， 保存脱岗事件信息； 其中， 脱岗事件信息包括当前脱岗事 件的开始时间、 结束时间以及事 件帧。 7.根据权利要求6所述的基于计算机视觉的人员施工安全行为识别方法， 其特征在于： 步骤S2中， 若摄 像头请求 安全晨会检测功能， 具体包括以下步骤： 步骤S291： 对帧图像数据进行人员检测， 得到帧图像数据内的所有人员位置信息 boxes；权　利　要　求　书 2/3 页 3 CN 115439800 A 3