(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210340330.X (22)申请日 2022.03.31 (71)申请人 强宇琛 地址 210001 江苏省南京市秦淮区苜蓿园 大街66号19幢5 06室 (72)发明人 强宇琛　余商文　荣烨烁　王昌杰　 (74)专利代理 机构 杭州麦知专利代理事务所 (普通合伙) 33397 专利代理师 夏一鸣 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于浅层神经网络的视觉路口行人高 危行为预测方法 (57)摘要 本发明涉及行为预测技术领域， 且公开了一 种基于浅层神经网络的视觉路口行人高危行为 预测方法， 包括以下步骤： S1， 通过摄像头获取待 检测行人的行为记录视频， 行为记录视频为行人 抵达路口范围10米内的视频影像， 并将此视频传 导至计算机， 通过计算机的存储器内部， 然后通 过计算机的处理器对视频进行处理加工以及预 测， 本发明方案能够通过浅层神经网络建立行人 高危行为检测算法， 以行为识别作为第一要务， 通过截取单个人物， 背景去除， 人物识别， 关键点 识别， 最后通过关键点之间的动态关系来进行危 险行为识别， 提高检测的速度与质量。 权利要求书2页 说明书5页 附图2页 CN 114648733 A 2022.06.21 CN 114648733 A 1.一种基于浅层神经网络的视觉路口行人高危行为预测方法， 其特征在于， 包括以下 步骤： S1， 通过摄像头获取待检测行人的行为记录视频， 所述行为记录视频为行人抵达路口 范围10米内的视频影像， 并将此视频传导至计算机， 通过计算机的存储器内部， 然后通过计 算机的处 理器对视频进行处 理加工以及预测； S2， 将S1中的记录视频传输至计算机后通过计算机的处理器进行处理， 处理器连接有 视频获取模块、 关键帧获取模块、 关键点检测模块以及高危行为分类模块， 通过视频获取模 块用于提取存储器内的行人的行为记录视频， 通过关键帧获取模块对所述高危行为记录视 频进行预 处理， 使行为记录视频中行人的背 景去除、 对行人进 行任务识别预 处理， 获取所述 记录视频中的关键帧图像； S3， 通过关键点检测模块对S2得到的键帧图像进行人体关键点检测， 将关键点连接， 并 对检测到的人体关键点图像； S4， 将S3得到的人体关键点 图像导入高危行为分类模块， 通过高危行为分类模块预先 训练好的浅层四分神经网络模型， 通过关键点之间的动态关系来进行危险行为识别， 得到 行人的高危行为分类结果， 通过所述高危行为预测模块对高危行为分类结果预测所述待检 测行人的行为， 生成行 人的行为预测结果。 2.根据权利要求1所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法， 其特征在于： 所述关键帧获取模块用于对所述高危行为记录视频进行预处理： 通过计算所 述行为记录视频中相 邻两个视频帧的直方图数据和灰度图数据， 基于所述直方图数据和所 述灰度图数据， 计算相邻两个视频帧的加权欧式距离， 基于所述加权欧式距离确定所述行 为记录视频的镜头转换边界， 基于所述镜头转换边界确定所述行为记录视频中的关键帧图 像。 3.根据权利要求1所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法， 其特征在于： 所述关键点检测模块通过关键 帧图像得到人体区域的方法为： 将所述关键 帧 图像转化为红外图像， 从所述红外图像中获取人体轮廓特征， 对所述红外图像进行去 噪处 理， 去除所述红外图像的椒盐噪点， 得到去噪图像， 然后基于所述去噪图像和所述人体轮廓 特征， 确定所述关键帧图像中的人体区域。 4.根据权利要求3所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法， 其特征在于： 所述关键点检测模块人体关键点获得 的方法： 基于预设的多阶段网络对所述 关键帧图像中的人体区域进行关节点识别， 得到人体关键点， 计算所述人体关键点之间的 亲和力值， 基于所述亲和力值对所述人体关键点进行 连接， 得到人体关键点图像。 5.根据权利要求4所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法， 其特征在于： 通过所述亲和力值对所述人体关键点进 行连接， 得到人体 关键点图像的方法： 判断所述亲和力值是否大于或等于预设阈值， 当所述亲和力值大于或等于预设阈值时， 对 所述人体关键点进行匹配连接， 得到人体关键点图像。 6.根据权利要求1所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法， 其特征在于： 所述高危行为分类模块内部存储有多种分类模板， 通过将检测到的人体关键 点图像与分类模板进行对比， 快速对行 人的人体分类模板进行对比， 提高检测的速度。 7.根据权利要求6所述的一种基于浅层神经网络的视觉路口行人高危行为预测方法，权　利　要　求　书 1/2 页 2 CN 114648733 A 2其特征在于： 所述高危行为预测模块内部存储多种危险行为检测 点模板， 通过将检测到的 人体关键点图像与危险行为检测点模板进行对比， 快速对行人的人体关键点图像进行对 比， 提高检测的速度。权　利　要　求　书 2/2 页 3 CN 114648733 A 3