(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210776322.X (22)申请日 2022.07.04 (65)同一申请的已公布的文献号 申请公布号 CN 114885133 A (43)申请公布日 2022.08.09 (73)专利权人 中科航迈数控软件 （深圳） 有限公 司 地址 518000 广东省深圳市南 山区桃源街 道平山社区留仙大道 4168号众冠时代 广场A座2010 (72)发明人 吴承科　刘祥飞　刘占省　饶建波　 杨之乐　李骁　蒋锐　王世杰　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 王永文 (51)Int.Cl. H04N 7/18(2006.01)H04N 13/296(2018.01) G08B 13/196(2006.01) G06V 20/64(2022.01) G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06K 9/62(2022.01) (56)对比文件 CN 111563446 A,2020.08.21 CN 109951686 A,2019.0 6.28 CN 111062373 A,2020.04.24 CN 113191699 A,2021.07.3 0 CN 110253570 A,2019.09.20 CN 113936210 A,202 2.01.14 CN 206773887 U,2017.12.19 审查员 黄碧云 (54)发明名称 基于深度图像的设备安全实时监控方法、 系 统及相关 设备 (57)摘要 本发明公开了一种基于深度图像的设备安 全实时监控 方法、 系统及相关设备， 方法包括： 获 取待监控区域在当前时刻的至少两个深度图像， 基于深度图像构建待监控区域的待识别三维点 云； 通过已训练的点云识别模型， 针对待识别三 维点云中的设备部件和人体部位进行类别识别 和标记， 获得待识别三维点云中包括的目标物体 类别以及类别标记三维点云； 获取待监控设备在 当前时刻对应的运行状态信息， 获取上述待监控 设备的安全运行条件； 根据目标物体类别、 类别 标记三维点云以及安全运行条件对待监控设备 进行运行状态安全判断， 获得安全判断结果。 本 发明方案有利于提高设备运行的安全性。 权利要求书4页 说明书12页 附图3页 CN 114885133 B 2022.10.04 CN 114885133 B 1.一种基于深度图像的设备安全实时监控方法， 其特 征在于， 所述方法包括： 获取待监控区域在 当前时刻的至少两个深度图像， 基于所述深度图像构建所述待监控 区域的待识别三 维点云， 其中， 所述待监控区域是待监控设备所在的区域， 各所述深度图像 是通过预先设置在所述待监控区域中的深度相机从不同位置对所述待监控区域进行实时 同步图像采集获得的； 设置所述深度相 机时将所述待监控区域划分为不同的区域， 不同区 域的深度相 机部署密度根据该区域对应的重要性和设备复杂度确定， 且设备部分更复杂、 更容易被遮挡或危险性更高的角度设置的深度相机数量更多； 通过已训练的点云识别模型， 针对所述待识别三维点云中的设备部件和人体部位进行 类别识别和标记， 获得所述待识别三 维点云中包括的目标物体类别以及所述待识别三维点 云对应的类别标记三维点云； 获取所述待监控设备在所述当前时刻对应的运行状态信 息， 根据所述运行状态信 息获 取所述待监控设备的安全运行条件， 其中， 所述安全运行条件包括人体安全距离条件； 所述 运行状态信息包括所述待监控设备的运行模式、 运行场景和/或运行状态， 所述安全运行条 件根据所述运行状态信息以及预先建立的用于存储运行状态信息和 安全运行条件的表格 获得， 所述 运行状态包括当前转速和温度； 根据所述目标物体类别、 所述类别标记三维点云以及所述安全运行条件对所述待监控 设备进行运行状态安全判断， 获得安全判断结果； 所述通过已训练 的点云识别模型， 针对所述待识别三维点云中的设备部件和人体部位 进行类别识别和标记， 获得所述待识别三维点云中包括的目标物体类别以及所述待识别三 维点云对应的类别标记三维点云， 包括： 根据预设的预处理流程对所述待识别三维点云进 行预处理， 并将预处理后的待识别三维点云输入所述已训练的点云识别模型； 获取所述已 训练的点云识别模型输出 的目标物体类别以及类别标记三维点云； 其中， 所述预处理流程 包括： 根据预设的无监督聚类算法对所述待识别三维点云进行聚类分割， 对聚类分割后的 待识别三 维点云进行点云坐标插值以获得预处理后的待识别三维点云； 所述预设的无监督 聚类算法为K ‑means算法； 所述人体安全距离条件用于限定所述当前时刻人体部位与所述设备部件之间的安全 距离阈值， 所述根据所述 目标物体类别、 所述类别标记三维点云以及所述安全运行条件对 所述待监控设备进 行运行状态 安全判断， 获得安全判断结果， 包括： 根据所述目标物体类别 和所述类别标记三维点云计算获取待判断距离， 其中， 所述待判断距离包括各人体部位与 各设备部位在所述当前时刻的实际距离； 根据所述待判断距离和所述安全距离阈值之 间的 大小关系对所述待监控设备进行运行状态安全判断并获得安全判断结果； 其中， 一个所述 设备部件对应有多个安全距离阈值， 用于限定该设备部件与不同的人体部位之 间的安全距 离； 所述安全运行条件还包括设备安全距离条件、 部件安全距离条件、 人员范围限制条件 和设备范围限制条件， 所述设备安全距离条件用于限定所述待监控区域中不同设备之 间的 安全距离， 所述部件安全距离条件用于限定一个待监控设备 的不同部件之间的安全距离， 所述人员范围限制条件用于限定所述待监控设备对应的范围内是否应该有 人员出现， 所述 设备范围限制条件用于限定所述待监控设备应该放置的位置； 所述点云识别模型根据如下步骤进行训练：权　利　要　求　书 1/4 页 2 CN 114885133 B 2将训练数据中的训练三维点云输入所述点云识别模型， 通过所述点云识别模型对所述 训练三维点云进行物体类别识别和标记并获得所述训练三维点云中包括的目标物体类别 以及所述训练三维点云对应的类别标记三维点云， 其中， 所述训练数据包括多组训练点云 数据组， 每一组训练点云数据 组包括训练三维点云、 所述训练三维点云对应的标注物体类 别以及所述训练三维点云对应的类别标注三维点云； 根据所述训练三维点云对应的目标物体类别、 类别标记三维点云、 标注物体类别以及 类别标注三维点云， 对所述点云识别模型 的模型参数进行调整， 并继续执行所述将训练数 据中的训练三维点云输入所述点云识别模型 的步骤， 直至满足预设训练条件， 以得到已训 练的点云识别模型； 其中， 所述训练三维点云对应的标注物体类别和类别标注三维点云中包括针对所述训 练三维点云中不完整的人体部位的标注； 所述点云识别模型在 对输入的训练三维点云或待 识别三维点云进行类别识别和标记时识别和标记的人体部位包括 不完整的人体部位。 2.根据权利要求1所述的基于深度图像的设备安全实时监控方法， 其特征在于， 所述获 取待监控区域在当前时刻的至少两个深度图像， 基于所述深度图像构建所述待监控区域的 待识别三维点云， 包括： 根据预先设置的双目相机对所述待监控区域进行图像采集， 获得所述待监控区域在所 述当前时刻的双目图像； 对所述双目图像中的像素点进行逐一匹配， 根据匹配后的像素点构建所述待监控区域 对应的三维点云模型并作为所述待识别三维点云。 3.根据权利要求1所述的基于深度图像的设备安全实时监控方法， 其特征在于， 所述安 全距离阈值包括第一阈值和第二阈值， 所述第一阈值大于所述第二阈值， 所述根据所述待 判断距离和所述安全距离阈值之间的大小关系对所述待监控设备进行运行状态安全判断 并获得安全判断结果， 包括： 当所述待判断距离大于所述第一阈值时， 将不存在安全风险作为所述 安全判断结果； 当所述待判断距离不大于所述第 一阈值且大于所述第 二阈值时， 将存在低 安全风险作 为所述安全判断结果， 并针对所述 安全判断结果进行告警； 当所述待判断距离不大于所述第二阈值时， 将存在高安全风险作为所述安全判断结 果， 针对所述安全判断结果进行告警， 并向所述待监控设备发送中止信号以暂停所述待监 控设备的运行。 4.根据权利要求3所述的基于深度图像的设备安全实时监控方法， 其特征在于， 当所述 安全判断结果 为不存在安全风险时， 所述方法还 包括： 获取历史标记三维点云， 其中， 所述历史标记三维点云包括在所述当前时刻之前获得 并存储的类别标记三维点云； 根据所述历史标记三维点云和所述待识别三维点云对应的类别标记三维点云获取所 述待监控区域中各 人体部位对应的预测运动轨 迹； 根据所述预测运动轨迹计算获取各所述人体部位在所述当前时刻之后的预测待判断 距离； 当所述预测待判断距离不大于所述第一阈值时播报安全告警语音。 5.一种基于深度图像的设备安全实时监控系统， 其特 征在于， 所述系统包括：权　利　要　求　书 2/4 页 3 CN 114885133 B 3