(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210629456.9 (22)申请日 2022.06.05 (71)申请人 东北石油大 学 地址 163318 黑龙江省大庆市高新区发展 路199号 (72)发明人 田枫　刘芳　刘志刚　解红涛　 孙晓悦　赵玲　 (74)专利代理 机构 大庆知文知识产权代理有限 公司 231 15 专利代理师 李建华 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) (54)发明名称 行为检测的方法及装置、 电子 设备和存储介 质 (57)摘要 本公开涉及一种行为检测的方法及装置、 电 子设备和存储介质， 涉及行为检测技术领域。 其 中， 所述的行为检测的方法， 包括： 提取 获取的待 处理视频图像中多时刻视频帧的感兴趣目标对 应的关节点信息序列及关节点的运动速度信息 序列； 分别对关节点信息序列及运动速度信息序 列进行空间特征提取， 得到对应的第一空间特征 及第二空间特征； 并对第一空间特征及第二空间 特征进行特征融合， 得到初始融合特征； 利用获 取的设定滑动时空窗口对初始融合特征进行滑 动空间卷积操作， 得到第一时空图及第一邻接矩 阵； 并基于第一邻接矩阵对初始融合特征进行空 间卷积操作， 得到第一卷积图； 对第一时空图及 第一卷积图进行融合， 得到行为特征； 基于行为 特征完成行为检测。 权利要求书4页 说明书20页 附图5页 CN 115035596 A 2022.09.09 CN 115035596 A 1.一种行为检测的方法， 其特 征在于， 包括： 提取获取的待处理视频图像中多时刻视频帧的感兴趣目标对应的关节点信息序列及 关节点的运动速度信息序列； 分别对所述关节点信 息序列及运动速度信 息序列进行空间特征提取， 得到对应的第 一 空间特征及第二空间特征； 并对所述第一空间特征及所述第二空间特征进行特征融合， 得 到初始融合特 征； 利用获取的设定滑动时空窗口对所述初始融合特征进行滑动空间卷积操作， 得到第 一 时空图及第一邻接矩阵； 并基于所述第一邻接矩阵对所述初始融合特征进行空间卷积操 作， 得到第一卷积图； 对所述第一时空图及第一卷积图进行融合， 得到行为特征； 基于所述 行为特征完成行为检测。 2.根据权利要求1所述的方法， 其特征在于， 所述提取获取的待处理视频图像中多时刻 视频帧的感兴趣目标对应的关节点信息序列及关节点的运动速度信息序列的方法， 包括： 获取待处 理的视频图像； 提取所述视频图像中多时刻视频帧对应的多个人体骨架序列； 从所述多个人体骨架序列中确定感兴趣目标的人体骨架序列， 并确定所述感兴趣目标 的人体骨架序列的关节点信息序列及关节点的运动速度信息序列。 3.根据权利要求2所述的方法， 其特征在于， 所述提取所述视频图像中多时刻视频帧的 多个人体骨架序列的方法， 包括： 获取目标检测网络； 利用所述目标检测网络， 对所述视频图像中多个设定目标进行目标检测， 得到对应的 多个目标检测序列图； 分别对所述多个目标检测序列图进行目标跟踪， 得到对应的多个目标跟踪序列图； 分别对所述多个目标跟踪序列图进行关键点提取， 得到所述视频图像中多时刻视频帧 的多个人体骨架序列； 以及/或， 所述并确定所述感兴趣目标的人体骨架序列的关节点信息序列及关节点的运动速度 信息序列的方法， 包括： 对所述感兴趣目标的人体骨架序列的关节进行标定， 得到多个标定关节点； 确定所述 感兴趣目标的人体骨架序列中的多个中心点； 分别确定多个标定关节点及其对应的中心 点 确定第一关节点信息序列； 分别计算多个标定关节点与其相邻的标定关节点的角度， 得到 第二关节点信息序列； 其中， 所述关节点信息序列， 包括： 第一关节 点信息序列以及/或第二 关节点信息序列； 以及， 分别计算所述多个标定关节点在t时刻及t+1时刻的相对位移， 得到关节点的运 动速度信息序列。 4.根据权利要求1 ‑3任一项所述的方法， 其特征在于， 所述分别对所述关节点信 息序列 及运动速度信息序列进行空间特征提取， 得到对应的第一空间特征及第二空间特征的方 法， 包括： 利用获取的设定滑动时空窗口对所述关节点信 息序列进行滑动空间卷积操作， 得到第 二时空图及第二邻接矩阵； 并基于所述第二邻接矩阵对所述关节点信息序列进行 空间卷积权　利　要　求　书 1/4 页 2 CN 115035596 A 2操作， 得到第二卷积图； 对所述第二时空图及第二卷积图进行融合， 得到第一空间特征； 以 及， 利用获取的设定滑动时空窗口对所述运动速度信 息序列进行滑动空间卷积操作， 得到 第三时空图及第三邻接矩阵； 并基于所述第三邻接矩阵对所述关节点信息序列进 行空间卷 积操作， 得到第三卷积图； 对所述第三时空图及第三卷积图进行融合， 得到第二空间特 征； 以及/或， 所述对所述第一空间特征及所述第二空间特征进行特征融合， 得到融合特征的方法， 包括： 对所述第一空间特 征及所述第二空间特 征进行拼接或相加操作， 得到融合特 征。 5.根据权利要求4所述的方法， 其特征在于， 所述利用获取的设定滑动时空窗口对所述 关节点信息序列进行滑动空间卷积 操作， 得到第二时空图及第二邻接矩阵的方法， 包括： 获取设定大小的第 一滑动窗口， 按照设定第 一步长控制所述第 一滑动窗口在所述关节 点信息序列上进行滑动， 得到第一滑动窗口特征； 基于所述第一滑动窗口特征进行空间卷 积操作， 得到第二时空图； 基于所述第一滑动窗口中某一帧标定的关节点到其他帧相同标 定的关节点和设定邻域的连接关系得到第二邻接矩阵； 以及/或， 所述基于所述第 二邻接矩阵对所述关节点信 息序列进行空间卷积操作， 得到第 二卷积 图的方法， 包括： 分别基于所述关节点信 息序列及获取的多个设定嵌入函数， 确定对应的多个第 一数据 关联图； 分别将所述多个第 一数据关联图与对应的所述第 二邻接矩阵的集合进行融合， 得到第 一关联融合特征； 所述第一关联融合特征与所述关节点信息序列进行融合， 得到第一关联 关节点融合特 征； 所述第一关联关节点融合特 征乘以第一设定 权重值， 得到第二卷积图； 以及/或， 所述利用获取的设定滑动时空窗口对所述运动速度信 息序列进行滑动空间卷积操作， 得到第三时空图及第三邻接矩阵的方法， 包括： 获取设定大小的第 二滑动窗口， 按照设定第 二步长控制所述第 二滑动窗口在所述运动 速度信息序列上进行滑动， 得到第二滑动窗口特征； 基于所述第二滑动窗口特征进行空间 卷积操作， 得到第三时空图； 基于所述第二滑动窗口中某一帧标定的关节点到其他帧相同 标定的关节点和设定邻域的连接关系得到第三邻接矩阵； 以及/或， 所述基于所述第 三邻接矩阵对所述关节点信 息序列进行空间卷积操作， 得到 第三卷积图的方法， 包括： 分别基于所述运动速度信 息及获取的多个设定嵌入函数， 确定对应的多个第 二数据关 联图； 分别将所述多个第 二数据关联图与对应的所述第 三邻接矩阵的集合进行融合， 得到第 二关联融合特征； 所述第二关联融合特征与所述运动速度信息序列进行融合， 得到第二关 联运动速度融合特征； 所述第二关联运动速度融合特征乘以第二设定权重值， 得到第三卷 积图； 以及/或，权　利　要　求　书 2/4 页 3 CN 115035596 A 3