(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210562665.6 (22)申请日 2022.05.23 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 魏晨阳　刘昌永　唐一栋　杨金胜　 罗干　刘濮源　孙铭阳　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 刘景祥 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06T 5/00(2006.01) G06T 7/11(2017.01) G06T 7/136(2017.01) G06T 7/194(2017.01) G06T 7/20(2017.01) G06T 7/73(2017.01) G01G 19/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于计算机视觉的模板支架安全风险识别 方法 (57)摘要 本发明公开了基于计算机视觉的模板支架 安全风险识别方法， 属于施工安全技术领域。 包 括： 通过实现多类型重物识别， 在塔吊起吊重物 之前， 识别调取物品的材料信息， 同时用力传感 器测量待吊重物的重量信息； 通过在需监控模板 支架附近布置视觉传感器， 经过预处理， 将视觉 传感器视野内的模板支架位置划分成若干单元， 若有荷载出现在视野中时， 系统立即识别并判断 其所处位置， 结合结构荷载信息判断荷载对模板 支架安全是否会造成影响； 在重物提起阶段， 通 过目标跟踪技术与背景分割技术， 实时跟踪被吊 起目标所处位置， 判断其即将落在模板支架的区 域位置， 对不安全行为及时做出预警。 本发明解 决了人工观 察法存在的效率低成本高的问题， 保 证了模板支 架安全。 权利要求书2页 说明书8页 附图6页 CN 115082850 A 2022.09.20 CN 115082850 A 1.基于计算机视觉的模板支架安全风险识别方法， 其特征在于， 所述计算机视觉的模 板支架安全监测方法包括以下步骤： S100、 通过实现多类型重物识别， 在塔吊起吊重物之前， 识别调取物品的材料信息， 同 时用力传感器测量待吊重物的重量信息； S200、 通过在需监控模板支架附近布置视觉传感器， 经过预处理， 将所述视觉传感器视 野内的模板支架位置划分成若干单元， 若有荷载出现在视野中时， 系统将立即识别并判断 其所处位置， 结合结构荷载信息判断所述荷载对 模板支架安全是否会造成影响； S300、 在重物提起阶段， 通过目标跟踪技术与背景分割技术， 实时跟踪被吊起目标所处 位置， 判断其即将落在 模板支架的区域位置， 对不安全行为及时做出预警， 同时也可以判断 起吊轨迹是否正确及吊起目标 是否脱落， 起吊终点是否正确等。 2.根据权利要求1所述的基于计算机视觉的模板支架安全风险识别方法， 其特征在于， 在S100前， 还包括S000： 得到训练好的卷积神经网络 CNN： S010、 从各种视频中提取多类重物图片， 对图片进行预处理， 对将所有图片的分辨率统 一降为512 ×512像素， 作为待分类数据； S020、 将待分类数据进行分类和标注， 放在不同的文件夹中； S030、 对分类和标注好的数据进行 数据增强； S040、 将经过数据增强和数据扩充的数据输入卷积神经网络CNN， 对卷积神经网络CNN 进行训练。 3.根据权利要求2所述的基于计算机视觉的模板支架安全风险识别方法， 其特征在于， 在S030中， 具体的， 增强方式为： 水平随机翻转图像和相关的框标签、 随机缩放图像以及相 关的框标签、 抖动图像颜色。 4.根据权利要求2所述的基于计算机视觉的模板支架安全风险识别方法， 其特征在于， 在S040中， 具体包括以下步骤： S041、 确定数据流及建立数据结构： 卷积神经网络CNN是一个包含输入层、 卷积层和输出层的网络模型， 输入层是112 ×1的 列向量， 每个 分量的值为0或1， 对于每个子单元， 有22 4×224像素和3个频道， 然后进入第一 个卷积层， 卷积核的大小为7 ×7， 卷积核的个数为64， 步长为2， 填充为3， 卷积层计算: 池化层计算: 式中:F为卷积核， 卷积核的大小为F ×F， S为步长大小， P为填充值大小， N为输出大小， W 为输入大小， F为卷积核大小； S042、 对卷积神经网络 CNN进行训练： 一次输入所有的训练样本， 调整所述训练样本以平衡训练集中的图像数量， 将第一卷 积层的网络滤波器权值可视化， 使用CN N图像特征训练一个多类SVM分类 器， 超参数设置： 学习率为0.1； 动量因子为0.9； 权重衰减 因子为5e ‑4； 卷积层的层 数为49；权　利　要　求　书 1/2 页 2 CN 115082850 A 2批处理的大小为32； 损失函数为 “Crossentropyex”； S043、 得到训练结果： 将集合分割成训练和验证数据。 从每个集合中选取60％的图像作为训练数据， 其余的 40％作为验证数据， 分割形式为随机 分割， 训练集和测试集将由CNN模 型进行处理， 训练后， 平均精确率 为： 98.15％。 5.根据权利要求1所述的基于计算机视觉的模板支架安全风险识别方法， 其特征在于， 在S300中， 具体包括以下步骤： S310、 计算前景掩码： 使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前 景掩码； S320、 二值化处理： 在S310中计算得到的前景掩码含有前景的白色值以及阴影的灰色 值， 将所述前 景掩码二 值化， 即将非纯白色的所有像素点均设置为纯白色； S330、 目标跟踪： 使用基本的目标跟踪算法检测运动中物体的轮廓， 并在原始帧上绘制 检测结果。 6.根据权利要求1所述的基于计算机视觉的模板支架安全风险识别方法， 其特征在于， 在S200和S300间， 还包括S250、 对模板支架区域位置进行 标定， 具体包括以下步骤： S251、 通过相机设备拍摄得到的施工现场模板支 架实际图像视频 数据； S252、 对模板支架区域进行划分， 具体的： 进行阈值分割： 使用背景分割算法通过任意选取一个阈值t将图像分为前景和背景两 部分， 前景像素点占图像的比例为W0、 均值为U0， 背 景像素点占图像的比例为W1、 均值为U1， 图像整体的均值为U ＝W0*U0+W1*U1， 建立目标函数g(t)＝W0*(U0 ‑U)^2+W1*(U1 ‑U)^2， g(t) 即为当分割阈值 为t时的类间方差， Otsu算法使得g(t)最大时所对应的t为 最佳阈值； 进行图像滤波： 对阈值分割后的结果进行 滤波处理， 消除不必要噪点； 进行投影划分区域： 对滤波处理后的图像分别进行水平和垂直方向的投影， 根据其结 果图像， 以每个已规定长度的区间内波峰位置为 目标点， 得知相 机视野中的模板支架分为 5*5的区域。权　利　要　求　书 2/2 页 3 CN 115082850 A 3