(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211162444.6 (22)申请日 2022.09.22 (71)申请人 地平线(上海)人工智能技 术有限公 司 地址 200120 上海市浦东 新区南汇新城镇 环湖西二路8 88号c楼 (72)发明人 隋伟　陈腾　张骞　 (74)专利代理 机构 北京兰亭信通知识产权代理 有限公司 1 1667 专利代理师 苑晨超 (51)Int.Cl. G06T 17/00(2006.01) G06T 9/00(2006.01) G06T 5/50(2006.01) G06T 3/00(2006.01) (54)发明名称 视觉感知方法、 装置、 可读存储介质及电子 设备 (57)摘要 公开了一种视觉感知方法， 包括： 获取载具 的多相机系统在同一位置采集的多个视角分别 对应的多个图像； 将所述多个图像分别进行编 码， 得到各所述图像分别对应的图像特征； 将各 所述图像特征采用重映射的方式进行分解， 得到 各所述图像分别对应的俯视视角特征和环视视 角特征； 将各所述俯视视角特征和所述环视视角 特征进行融合， 得到三维空间特征； 对所述三维 空间特征进行解码， 得到三维空间结构； 根据所 述三维空间结构， 实现视觉感知。 本申请提供的 一种视觉感知方法、 装置、 可读存储介质及电子 设备， 将图像 分解为环视视图特征和俯视视角特 征， 在融合后， 能够获取准确的三维空间特征， 提 高感知效果。 权利要求书2页 说明书12页 附图6页 CN 115512044 A 2022.12.23 CN 115512044 A 1.一种视 觉感知方法， 包括： 获取载具的多相机系统在同一 位置采集的多个视角分别对应的多个图像； 将所述多个图像分别进行编码， 得到各 所述图像分别对应的图像特 征； 将各所述图像特征采用重映射的方式进行分解， 得到各所述图像分别对应的俯视视角 特征和环视 视角特征； 将各所述俯视 视角特征和所述环视 视角特征进行融合， 得到三维空间特 征； 对所述三维空间特 征进行解码， 得到三维空间结构； 根据所述 三维空间结构， 实现视 觉感知。 2.根据权利要求1所述的方法， 其中， 将所述多个图像分别进行编码， 得到各所述图像 分别对应的图像特 征包括： 对各所述图像进行缩放， 获得 各所述图像分别对应的图像金字塔； 对各所述图像金字塔采用多个特征提取滤波器进行特征提取， 获得各所述图像分别对 应的多尺度的图像特 征。 3.根据权利要求2所述的方法， 其中， 将各所述图像特征采用重映射的方式进行分解， 得到各所述图像分别对应的俯视 视角特征和环视 视角特征包括： 利用多相机系统中各相机的外部参数， 计算各所述相机分别对应的各所述图像特征分 解至对应的俯视视角特征的第一重映射向量和每个图像特征分解至对应的环视视角特征 的第二重映射向量； 基于所述第一重映射向量和所述第二重映射向量， 对每个所述图像特征进行重映射， 以获得每 个所述图像特 征对应的所述俯视 视角特征和所述环视 视角特征。 4.根据权利要求2所述的方法， 其中， 将各所述图像特征采用重映射的方式进行分解， 得到各所述图像分别对应的俯视 视角特征和环视 视角特征包括： 将各所述图像的所述多尺度的图像特征采用重映射的方式分解， 得到各所述图像的多 尺度的俯视 视角特征和多尺度的环视 视角特征。 5.根据权利要求4所述的方法， 其中， 将各所述俯视视角特征和所述环视视角特征进行 融合， 得到三维空间特 征包括： 将各所述图像的所述多尺度的俯视视角特征和所述多尺度的环视视角特征逐个尺度 的进行融合， 得到三维空间特征； 其中， 所述逐个尺度的进行融合包括： 逐个的将具有相同 尺度的俯视 视角特征和环视 视角特征进行融合。 6.根据权利要求1所述的方法， 其中， 将各所述俯视视角特征和所述环视视角特征进行 融合， 得到三维空间特 征包括： 基于所述俯视视角特征， 确定所述三维空间特征的每个点在水平平面坐标系上的坐 标； 依据所述环视视角特征， 确定所述三维空间特征的每个点在柱面坐标系上的角度坐标 和垂直方向坐标； 依据所述水平平面坐标系与 所述柱面坐标系的对应关系， 将所述俯视视角特征与 所述 环视视角特征进行融合， 得到所述 三维空间特 征。 7.根据权利要求1所述的方法， 其中， 将各所述图像特征采用重映射的方式进行分解， 得到各所述图像分别对应的俯视 视角特征和环视 视角特征包括：权　利　要　求　书 1/2 页 2 CN 115512044 A 2将载具底面作为所述俯视 视角特征的分解平面； 将垂直于所述载 具底面的柱面作为所述环视 视角特征的分解平面。 8.一种视 觉感知装置， 包括： 获取模块， 用于获取载具的多相机系统在同一位置采集的多个视角分别对应的多个图 像； 编码模块， 用于将所述多个图像分别进行编码， 得到各 所述图像分别对应的图像特 征； 变换模块， 用于将各所述图像特征采用重映射的方式进行分解， 得到各所述图像分别 对应的俯视 视角特征和环视 视角特征； 融合模块， 用于将各所述俯视视角特征和所述环视视角特征进行融合， 得到三维空间 特征； 解码模块， 用于对所述 三维空间特 征进行解码， 获取三维空间结构； 感知模块， 用于依据所述 三维空间结构， 实现视 觉感知。 9.一种计算机可读存储介质， 所述存储介质存储有计算机程序， 所述计算机程序用于 执行上述权利要求1 ‑7任一所述的视 觉感知方法。 10.一种电子设备， 所述电子设备包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 所述处理器， 用于从所述存储器中读取所述可执行指令， 并执行所述指令以实现上述 权利要求1 ‑7任一所述的视 觉感知方法。权　利　要　求　书 2/2 页 3 CN 115512044 A 3