(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210546841.7 (22)申请日 2022.05.18 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100086 北京市海淀区丰豪东路9号院 2号楼3层1单 元302 (72)发明人 朱红梅　张骞　任伟强　孟文明　 (74)专利代理 机构 北京弘权知识产权代理有限 公司 11363 专利代理师 李少丹　许伟群 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/292(2017.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/62(2022.01) G06V 20/58(2022.01) (54)发明名称 运动状态估计模 型的训练方法、 运动状态估 计方法及装置 (57)摘要 本公开实施例公开了一种运动状态估计模 型的训练方法、 运动状态估计方法及装置。 该方 法包括： 利用特征提取网络， 基于第一时刻拍摄 的第一样本图像和第二时刻拍摄的第二样本图 像， 得到第一样本图像对应的第一图像特征和第 二样本图像对应的第二图像特征； 利用第一图像 特征和第二图像特征， 进行特征融合， 得到第一 融合特征； 利用运动状态预测网络对第一融合特 征进行预测， 得到样本图像集中的目标物体的预 测运动状态 流； 基于预测运动状态 流和基准运动 状态流， 确定模型损失； 基于模型损失， 对运动状 态估计模型进行训练。 这样， 训练好的运动状态 估计模型可以直接利用车载相机拍摄的多张图 像估计目标物体的运动状态， 提高了对目标物体 运动状态的估计效率。 权利要求书3页 说明书16页 附图7页 CN 114972425 A 2022.08.30 CN 114972425 A 1.一种运动状态估计模型的训练方法， 所述运动状态估计模型包括特征提取网络和运 动状态预测网络， 所述方法包括： 获取样本图像集， 所述样本图像集包括第 一时刻拍摄的第 一样本图像和第 二时刻拍摄 的第二样本图像， 所述第一时刻早于所述第二时刻； 利用所述特征提取网络， 基于所述第一样本 图像和所述第二样本 图像， 得到所述第一 样本图像对应的第一图像特 征和所述第二样本图像对应的第二图像特 征； 利用所述第一图像特征和所述第二图像特征， 进行特征变换和特征融合， 得到目标视 角空间内的第一融合特 征； 利用所述运动状态预测网络对所述第 一融合特征进行预测， 得到所述样本图像集中的 目标物体的预测运动状态流； 基于所述预测运动状态流和基准 运动状态流， 确定模型损失； 基于所述模型损失， 对所述 运动状态估计模型进行训练。 2.根据权利要求1所述的方法， 其中， 所述特征提取网络包括第 一特征提取网络和第 二 特征提取网络， 所述利用所述特征提取网络， 基于所述第一样本图像和所述第二样本图像， 得到所述第一样本图像对应的第一图像特征和所述第二样本图像对应的第二图像特征， 包 括： 利用所述第一特 征提取网络， 基于所述第一样本图像， 得到所述第一图像特 征； 利用所述第二特 征提取网络， 基于所述第二样本图像， 得到所述第二图像特 征。 3.根据权利要求1所述的方法， 其中， 所述利用所述第一图像特征和所述第二图像特 征， 进行特征变换和特 征融合， 得到目标视角空间内的第一融合特 征， 包括： 利用第一转移矩阵， 将所述第 一图像特征和所述第 二图像特征投影至所述目标视角空 间内， 得到所述第一图像特征在所述目标视角空间内对应的第一投影特征和所述第二图像 特征在所述目标视角空间内对应的第二投影特征， 所述第一转移矩阵为目标视角坐标系到 图像坐标系的单应性矩阵； 利用第二转移矩阵， 对所述第一投影特征进行变换， 得到所述第一投影特征在所述第 二时刻对应的第三投影特征， 所述第二转移矩阵为第一时刻到第二时刻的车辆姿态变化矩 阵； 将所述第三投影特 征与所述第二投影特 征进行特征融合， 得到所述第一融合特 征。 4.根据权利要求3所述的方法， 其中， 所述基准 运动状态流， 通过以下步骤确定： 获取点云数据集， 所述点云数据集包括所述第 一时刻采集的第 一点云数据和所述第 二 时刻采集的第二 点云数据； 利用目标检测算法， 确定所述目标物体在所述第 一点云数据中的第 一方位信 息和所述 目标物体在所述第二 点云数据中的第二方位信息； 利用所述第 一方位信 息和所述第 二方位信 息， 确定所述目标物体从所述第 一时刻到所 述第二时刻的方位变化信息； 利用所述方位变化信息更新初始的运动状态流， 得到所述基准 运动状态流。 5.根据权利要求4所述的方法， 其中， 所述利用所述第一方位信息和所述第二方位信 息， 确定所述目标物体从所述第一时刻到所述第二时刻的方位变化信息， 包括： 利用第三转移矩阵， 将所述第一方位信息和所述第二方位信息投影至目标视角 空间权　利　要　求　书 1/3 页 2 CN 114972425 A 2内， 得到所述第一方位信息在所述目标视角空间内对应的第一投影方位信息和所述第二方 位信息在所述目标视角空间内对应的第二投影方位信息， 所述第三转移矩阵为车载雷达坐 标系到目标视角坐标系的外参矩阵； 利用所述第二转移矩阵， 对所第一投影方位信息进行变换， 得到所述第一投影方位信 息在所述第二时刻对应的第三投影方位信息； 利用所述第二投影方位信息和所述第三投影方位信息， 确定所述方位变化信息 。 6.根据权利要求4所述的方法， 其中， 所述样本 图像集中包括多个所述目标物体， 所述 利用所述第一方位信息和所述第二方位信息， 确定所述目标物体从所述第一时刻到所述第 二时刻的方位变化信息， 包括： 利用目标追踪算法， 确定多个所述目标物体中的每个所述目标物体的所述第 一方位信 息和所述第二方位信息的对应关系； 基于所述对应关系， 分别利用每个所述目标物体的所述第 一方位信 息和所述第 二方位 信息， 确定每 个所述目标物体从所述第一时刻到所述第二时刻的所述方位变化信息 。 7.一种运动状态估计方法， 包括： 获取待处理图像集， 所述待处理图像集包括第 三时刻拍摄的第 一待处理图像和当前时 刻拍摄的第二待处 理图像， 所述第三时刻早于当前时刻； 利用权利要求1 ‑6任一项所述的运动状态估计模型的训练方法训练得到的运动状态估 计模型， 基于所述待处 理图像集， 得到目标物体在当前时刻的运动状态流。 8.一种运动状态估计模型的训练装置， 所述运动状态估计模型包括特征提取网络和运 动状态预测网络， 所述装置包括： 样本获取模块， 用于获取样本 图像集， 所述样本 图像集包括第一时刻拍摄的第一样本 图像和第二时刻拍摄的第二样本图像， 所述第一时刻早于所述第二时刻； 特征提取模块， 用于利用所述特征提取网络， 基于所述第一样本 图像和所述第二样本 图像， 得到所述第一样本图像对应的第一图像特征和所述第二样本图像对应的第二图像特 征； 特征融合模块， 用于利用所述第一图像特征和所述第二图像特征， 进行特征变换和特 征融合， 得到目标视角空间内的第一融合特 征； 预测模块， 用于利用所述运动状态预测网络对所述第一融合特征进行预测， 得到所述 样本图像集中的目标物体的预测运动状态流； 损失确定模块， 用于基于所述预测运动状态流和基准 运动状态流， 确定模型损失； 训练模块， 用于基于所述模型损失， 对所述 运动状态估计模型进行训练。 9.一种运动状态估计装置， 包括： 图像获取模块， 用于获取待处理图像集， 所述待处理图像集包括第三时刻拍摄的第一 待处理图像和当前时刻拍摄的第二待处 理图像， 所述第三时刻早于当前时刻； 运动状态估计模块， 用于利用权利要求1 ‑6任一项所述的运动状态估计模型的训练方 法训练得到的运动状态估计模型， 基于所述待处理图像集， 得到目标物体在当前时刻的运 动状态流。 10.一种计算机可读存储介质， 所述存储介质存储有计算机程序， 所述计算机程序用于 执行上述权利要求1 ‑6任一所述的运动状态估计模型的训练方法或权利要求7所述的运动权　利　要　求　书 2/3 页 3 CN 114972425 A 3