(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210514756.2 (22)申请日 2022.05.12 (71)申请人 北京地平线机 器人技术研发有限公 司 地址 100094 北京市海淀区丰豪东路9号院 2号楼3层1单 元302 (72)发明人 朱红梅　孟文明　王梦圆　李翔宇　 任伟强　张骞　 (74)专利代理 机构 北京思源智汇知识产权代理 有限公司 1 1657 专利代理师 王晓多 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 车载视觉感知方法和装置、 可读存储介质、 电子设备 (57)摘要 本公开实施例公开了一种车载视觉感知方 法和装置、 可读存储介质、 电子设备， 其中， 方法 包括： 通过设置在车辆上预设位置的多个车载摄 像头在连续多个时刻进行图像采集， 得到多个图 像帧集合； 其中， 每个所述图像帧集合中包括基 于同一所述车载摄像头采集的多帧图像帧， 每一 所述车载摄像头在每一时刻对应一帧图像帧； 通 过第一网络模型中的编码分支网络对所述多个 图像帧集合中包括的图像帧进行特征提取， 得到 多个第一特征图； 通过所述第一网络模型中的融 合分支网络对所述多个第一特征图执行空间融 合和时序融合， 得到鸟瞰图像坐标系下的第二特 征图； 基于预设感知任务对应的网络模型对所述 第二特征图进行识别， 确定所述预设感知任务对 应的感知结果。 权利要求书2页 说明书12页 附图6页 CN 114757301 A 2022.07.15 CN 114757301 A 1.一种车 载视觉感知方法， 包括： 通过设置在车辆上预设位置的多个车载摄像头在连续多个时刻进行图像采集， 得到多 个图像帧集合； 其中， 每个所述图像 帧集合中包括基于同一所述车载摄像头采集的多帧图 像帧， 每一所述车 载摄像头在每一时刻对应一帧图像帧； 通过第一网络模型中的编码分支网络对所述多个图像帧集合中包括的图像帧进行特 征提取， 得到多个第一特 征图； 通过所述第一网络模型中的融合分支网络对所述多个第一特征图执行空间融合和时 序融合， 得到鸟瞰图像坐标系下的第二特 征图； 基于预设感知任务对应的网络模型对所述第 二特征图进行识别， 确定所述预设感知任 务对应的感知结果。 2.根据权利要求1所述的方法， 其中， 所述通过所述第 一网络模型中的融合分支网络对 所述多个第一特征图执行空间融合和时序融合， 得到鸟瞰图像坐标系 下的第二特征图， 包 括： 针对所述多个时刻中每个时刻， 对所述时刻对应的多个第一特征图执行空间融合， 得 到鸟瞰图像坐标系下的多个第三特 征图； 其中， 每 个所述第三特 征图对应一个时刻； 对所述多个第三特 征图执行时序融合， 得到所述第二特 征图。 3.根据权利要求2所述的方法， 其中， 所述对所述 时刻对应的多个第 一特征图执行空间 融合， 得到鸟瞰图像坐标系下的多个第三特 征图， 包括： 分别对所述多个第 一特征图中每个第 一特征图执行单应变换， 得到鸟瞰图像坐标系下 的多个变换特征图； 对所述多个 变换特征图进行 逐点融合， 得到鸟瞰图像坐标系下的所述第三特 征图。 4.根据权利要求3所述的方法， 其中， 所述分别对所述多个第 一特征图中每个第 一特征 图执行单应变换， 得到鸟瞰图像坐标系下的多个 变换特征图， 包括： 基于每个所述第一特征图对应的车载摄像头的内参矩阵和外参矩阵， 确定所述第 一特 征图对应的自车坐标系到相机坐标系的第一变换矩阵； 基于所述自车坐标系的预设平面上的感知范围和所述鸟瞰图像坐标系的缩放比例和 平移距离， 确定所述鸟瞰图像坐标系到所述自车坐标系的预设平面的第二变换矩阵； 基于所述第一变换矩阵、 所述第二变换矩阵和所述车载摄像头的内参矩阵， 确定所述 鸟瞰图像坐标系到所述车 载摄像头对应的图像坐标系的第三变换矩阵； 基于所述第三变换矩阵对所述第一特 征图进行变换， 得到所述变换 特征图。 5.根据权利要求4所述的方法， 其中， 所述基于所述第一变换矩阵、 所述第二变换矩阵 和所述车载摄像头的内参矩阵， 确定所述鸟瞰图像坐标系到所述车载摄像头对应的图像坐 标系的第三变换矩阵， 包括： 基于所述第 一变换矩阵， 确定所述自车坐标系的预设平面到相机坐标系的第四变换矩 阵； 基于所述第四变换矩阵和所述第 二变换矩阵， 确定所述鸟瞰图像坐标系到所述相机坐 标系的第五变换矩阵； 基于所述第五变换矩阵和所述车 载摄像头的内参矩阵， 确定所述第三变换矩阵。 6.根据权利要求4或5所述的方法， 其中， 所述对所述多个第 三特征图执行时序融合， 得权　利　要　求　书 1/2 页 2 CN 114757301 A 2到所述第二特 征图， 包括： 以所述多个时刻中最近时刻对应的第三特 征图作为 参照特征图； 分别对所述至少一个第 三特征图中每个所述第 三特征图进行重构， 得到至少一个第四 特征图； 对所述参照特征图和所述至少一个第四特 征图进行 逐点融合， 得到所述第二特 征图。 7.根据权利要求6述的方法， 其中， 所述分别对所述至少一个第 三特征图中每个所述第 三特征图进行重构， 得到 至少一个第四特 征图， 包括： 基于所述车载摄像头在最近时刻和所述至少一个第三特征图对应的至少一个时刻对 应的帧间运动变换矩阵， 确定所述参照特征图对应的第一特征图与所述至少一个第三特征 图对应的第一特 征图之间的至少一个单应 变换矩阵； 基于所述至少一个单应变换矩阵和所述第 三变换矩阵， 确定所述参照特征图与所述至 少一个第三特 征图之间的至少一个转换矩阵； 基于所述至少一个转换矩阵中每个所述转换矩阵分别对所述至少一个第三特征图中 每个所述第三特 征图进行重构， 得到所述至少一个第四特 征图。 8.根据权利要求1 ‑7任一所述的方法， 其中， 所述基于预设感知任务对应的第 二网络模 型对所述第二特 征图进行识别， 确定所述预设感知任务对应的感知结果， 包括： 通过所述第 一网络模型中的解码分支网络对所述第 二特征图进行解码处理， 得到解码 后的第二特 征图； 基于所述第 二网络模型对所述解码后的第 二特征图进行识别， 确定所述预设感知任务 对应的感知结果。 9.一种车 载视觉感知装置， 包括： 图像采集模块， 用于通过设置在车辆上预设位置的多个车载摄像头在连续多个时刻进 行图像采集， 得到多个图像帧集合； 其中， 每个所述图像帧集合中包括基于同一所述车载摄 像头采集的多帧图像帧， 每一所述车 载摄像头在每一时刻对应一帧图像帧； 编码模块， 用于通过第 一网络模型中的编码分支网络对所述图像采集模块得到的多个 图像帧集 合中包括的图像帧进行 特征提取， 得到多个第一特 征图； 融合模块， 用于通过所述第 一网络模型中的融合分支网络对所述编码模块确定的多个 第一特征图执行空间融合和时序融合， 得到鸟瞰图像坐标系下的第二特 征图； 感知模块， 用于基于预设感知任务对应的网络模型对所述融合模块确定的第 二特征图 进行识别， 得到所述预设感知任务对应的感知结果。 10.一种计算机可读存储介质， 所述存储介质存储有计算机程序， 所述计算机程序用于 执行上述权利要求1 ‑8任一所述的车 载视觉感知方法。 11.一种电子设备， 所述电子设备包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 所述处理器， 用于从所述存储器中读取所述可执行指令， 并执行所述指令以实现上述 权利要求1 ‑8任一所述的车 载视觉感知方法。权　利　要　求　书 2/2 页 3 CN 114757301 A 3