(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211250179.7 (22)申请日 2022.10.13 (71)申请人 山东济矿鲁能煤电股份有限公司阳 城煤矿 地址 272500 山东省济宁市汶上县郭楼镇 张坝口村东 (72)发明人 何建新　辛光明　刘岩　吕景河　 刘恺宁　葛尊磊　郭延通　 (74)专利代理 机构 济宁仁礼信知识产权代理事 务所(普通 合伙) 37383 专利代理师 李琼 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/60(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于神经网络的矿山工人安全识别管 理方法 (57)摘要 本发明涉及图像处理技术领域， 具体涉及一 种基于神经网络的矿山工人安全识别管理方法， 该方法获取矿井环境的RGB图像、 深度图像和红 外热图； 获取深度图像对应的附近深度上限值以 及红外热图的光源位置的光源向量； 基于光源向 量构建RGB图像中每个像素点的高斯分布 函数以 得到蒙版图像； 根据蒙版图像的暗通道图像确认 RGB图像中存在烟尘时， 利用含烟尘图像形成模 型获取除烟尘图像， 利用除烟尘图像、 深度图像 和红外热图对安全识别神经网络进行训练， 进而 进行安全识别。 本发明通过对被烟尘遮挡的图像 进行复原， 提高了后续安全识别神经网络的训练 效果， 使得矿井的安全识别结果更加准确。 权利要求书2页 说明书8页 附图1页 CN 115331264 A 2022.11.11 CN 115331264 A 1.一种基于神经网络的矿山工人安全识别管理方法， 其特征在于， 该方法包括以下步 骤： 获取每个采样时刻下矿井环境的RGB图像、 深度图像和红外热图； 基于分水岭算法获取 深度图像对应的附近深度上限值； 将红外热图输入光源判别神经网络得到至少一个的光源 位置的光源向量， 光源向量包括光源中心点的坐标以及光源位置对应的包围框的宽度和高 度； 将RGB图像转化为LAB图像， 根据光源中心点的坐标和像素点的坐标计算LAB图像中每 个像素点与光源位置的距离， 获取每个像素点的最小距离以及最小距离对应的光源位置作 为目标光源； 利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数， 将最小距离输入高斯分布函数得到对应像素点的调整值； 利用 调整值对每个像素点的L值 进行更新得到蒙版图像； 获取蒙版图像的暗通道图像； 当由暗通道图像中每个像素点的灰度值确认RGB图像中 存在烟尘时， 利用含烟尘图像形成模 型获取RGB图像对应的除烟尘图像， 所述含烟尘图像形 成模型是基于蒙版图像和附近深度上限值构建的； 将设定时段内的除烟尘图像、 深度图像 和红外热图组成一个训练样本， 获取至少两个设定时段下的训练样本对安全识别神经网络 进行训练， 利用训练好的安全识别神经网络进行矿山工人的安全识别。 2.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法， 其特征在于， 所述基于分水岭算法获取深度图像对应的附近深度上限值的方法， 包括： 利用分水岭算法将深度图像分为多个子区域， 根据每个像素点的深度值计算每个子区 域的平均深度值； 将平均深度值最大所对应的子区域作为重点区域， 将重点区域中的最大 深度值作为附近深度上限值。 3.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法， 其特征在于， 所述利用目标光源对应的包围框的宽度和高度构建对应像素点的高斯分布函数的方法， 包 括： 分别计算目标光源对应的包围框的宽度的平方和高度的平方， 将宽度的平方和高度的 平方的和的二分之一作为高斯分布函数的方差； 结合预设的期 望和方差得到对应像素点的 高斯分布函数， 则高斯分布函数为： ， 其中， 为以常数e为底数 的指数函数； 为预设的期望； 为方差； 为最小距离； 为最小距离对应的调整值； 为常数。 4.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法， 其特征在于， 所述利用调整值对每 个像素点的L 值进行更新得到蒙版图像的方法， 包括： 当像素点的L值大于或等于该像素点的调整值时， 将该像素点的L值更新为像素点的L 值与对应的调整值的差值； 当像素点的L值小于该像素点的调整值时， 将该像素点的L值更 新为0， 将每个像素点的L值更新后的LAB图像转化为RGB图像， 转化后的RGB图像为蒙版图 像。 5.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法， 其特征在于， 所述由暗通道图像中每 个像素点的灰度值确认RGB图像中存在 烟尘的方法， 包括：权　利　要　求　书 1/2 页 2 CN 115331264 A 2选取暗通道图像中灰度值最小的预设数量的像素点， 计算这些像素点的平均灰度值， 当平均灰度值小于或等于阈值时， 确认RGB图像中存在 烟尘。 6.如权利要求1所述的一种基于神经网络的矿山工人安全识别管理方法， 其特征在于， 所述含烟尘图像形成模型的构建方法为： 选取蒙版图像的暗通道图像中最高亮的设定数量的像素点作为目标像素点， 获取目标 像素点对应在蒙版图像中的RGB通道的最亮点， 对最亮点的值计算平均值作为大气光 值； 结合RGB图像中每个像素点的RGB值以及大气光值获取空气烟尘的散射率， 则空气烟尘 的散射率的计算公式为： 其中， 为任意一个像素点所对应的空气烟尘的散射率； 表示RGB图像的任意一 个像素点的RGB值； 为以任意一个像素点为中心所对应的局部窗口； 为像素点在R通 道的值； 为像素点在G通道的值； 为像素点在B通道的值； 为最小值函数； 为大气光 值； 为第c个值； 结合RGB图像中每个像素点对应在深度图像 中的深度值以及附近深度 上限值获取透射 率， 则透射 率的计算公式为： 其中， 为任意一个像素点所对应的透射率； 为附近深度上限值； 为RGB图像 中任意一个像素点对应在深度图像中的深度值； 结合大气光值、 空气烟尘的散射率和透射率构建含烟尘图像形成模型， 则含烟尘图像 形成模型为： 其中， 表示除烟尘图像中的任意 一个像素点的值。权　利　要　求　书 2/2 页 3 CN 115331264 A 3