(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210660424.5 (22)申请日 2022.06.13 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 衣春雷　陈博　尹荣彬　李兵　 王秋　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 专利代理师 鲁艳萍 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) (54)发明名称 行车环境识别方法、 装置、 车辆及存 储介质 (57)摘要 本发明公开了一种行车环境识别方法、 装 置、 车辆及存储介质。 该方法包括： 获取激光雷达 采集的点云数据、 以及摄像头拍摄的当前图像 帧， 其中激光雷达以及摄像头安装于车辆上， 点 云数据与当前图像帧相对应； 通过对点云数据及 当前图像帧融合处理后的融合特征信息， 确定当 前图像帧的图像语义分割结果； 根据图像语义分 割结果， 确定当前图像帧对应的行车环境信息。 通过激光雷达及摄像头分别获取当前行车环境 下的点云数据及图像帧数据， 利用网络模型将二 者进行融合处理以确定图像语义 分割结果， 可以 更加准确地将复杂环境中的各种目标准确地分 离出来， 根据图像语义分割结果可以更为准确地 判断出车辆周围的行车环境， 提高了行车环境信 息识别的准确性。 权利要求书2页 说明书10页 附图3页 CN 114898322 A 2022.08.12 CN 114898322 A 1.一种行 车环境识别方法， 其特 征在于， 包括： 获取激光雷达采集的点云数据、 以及摄像头拍摄的当前图像帧， 其中激光雷达以及摄 像头安装于车辆上， 所述 点云数据与所述当前图像帧相对应； 通过对所述点云数据及所述当前图像帧融合处理后的融合特征信 息， 确定所述当前图 像帧的图像 语义分割结果； 根据所述图像 语义分割结果， 确定所述当前图像帧对应的行 车环境信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述通过对所述点云数据及所述当前图像 帧融合处 理后的融合特 征信息， 确定所述当前图像帧的图像 语义分割结果， 包括： 将对所述点云数据进行透视投影后获得的投影点云数据输入至训练后的点云分析网 络模型； 将所述当前图像帧输入训练后图像分析网络模型中基础分析子网络， 所述图像分析网 络模型中还 包括融合处 理子网络； 将所述点云分析网络模型输出的投影点云特征及所述基础分析子网络输出的基础图 像特征输入至所述融合处 理子网络， 获得输出的融合特 征信息； 叠加基础图像特征和融合特征信息， 形成二次融合特征信息， 通过所述图像分析网络 模型处理所述二次融合特 征信息， 获得 所述当前图像帧的图像 语义分割结果。 3.根据权利要求2所述的方法， 其特征在于， 所述点云分析网络模型以及所述图像分析 网络模型分别由设定数量的卷积层、 批量归一 化层、 线性整流层和池化层构成； 所述图像分析网络模型中所述设定数量的卷积层构成基础分析子网络； 所述融合处理子网络中包括卷积层及相连接的激活层， 且所包括卷积层的层数为所述 设定数量。 4.根据权利要求2所述的方法， 其特征在于， 所述融合处理子网络 中各卷积层对接收的 投影点云特 征及基础图像特 征进行融合处 理， 获得融合特 征信息的步骤 包括： 对接收的投影点云特 征以及基础图像特 征进行连接操作， 获得 连接特征数据； 对所述连接特征数据通过卷积层及相邻 接激活层， 进行卷积处理以及高维非线性空间 转换处理， 获得中间融合特 征； 将所述中间融合特 征与所述基础图像特 征进行元素加法操作， 获得融合特 征信息。 5.根据权利要求2所述的方法， 其特征在于， 所述当前图像帧的图像语义分割结果通过 分割概率图表征， 所述分割概率图中通过不同色彩表征不同的语义分类区域， 且各语义分 类区域具 备相应的分割概 率值。 6.根据权利要求2所述的方法， 其特征在于， 所述对所述点云数据进行透视投影， 获得 投影点云数据的步骤 包括： 根据对摄 像头和激光雷达进行 标定得到的投影矩阵， 将点云数据投影到图像空间； 其中， 投影后的每个点对应一个五维的特征(d,x,y,z,r),d表示深度， 通过点坐标到摄 像头坐标原点的距离值表征， r 表示反射强度。 7.根据权利要求2所述的方法， 其特征在于， 对所述点云分析网络模型进行训练时采用 多类中心损失函数multi ‑class focal loss， 以及对所述图像分析网络模型采用Lovasz ‑ softmax损失函数， 并分别采用随机梯度下降算法进行损失函数收敛。 8.一种行 车环境识别装置， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114898322 A 2获取模块， 用于获取激光雷达采集的点云数据、 以及摄像头拍摄的当前图像帧， 其中激 光雷达以及摄 像头安装于车辆上， 所述 点云数据与所述当前图像帧相对应； 结果确定模块， 用于通过对所述点云数据及所述当前图像帧融合处理后的融合特征信 息， 确定所述当前图像帧的图像 语义分割结果； 信息确定模块， 用于根据所述图像语义分割结果， 确定所述当前图像帧对应的行车环 境信息。 9.一种车辆， 其特 征在于， 包括： 至少一个 摄像头， 各所述摄像头按照设定连接方式与车辆连接； 至少一个激光雷达， 各 所述激光雷达按照设定连接方式与车辆连接； 还包括： 一个或多个控制器； 与所述至少一个控制器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个控制器执行的计算机程序， 所述计算机程序被所 述至少一个控制器执 行， 以使所述至少一个控制器能够执 行权利要求1 ‑7方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使控制器执行时实现权利要求1 ‑7中任一项所述的行车环境识别 方法。权　利　要　求　书 2/2 页 3 CN 114898322 A 3