(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210556360.4 (22)申请日 2022.05.20 (71)申请人 广州文远知行 科技有限公司 地址 511365 广东省广州市黄埔区广州国 际生物岛螺旋大道68号合景科盛广场 A栋地上第16层01、 02、 0 3、 04单元 (72)发明人 郭湘　孙鹏　韩旭　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 王文 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/52(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 车道线的检测方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及自动驾驶技术领域， 公开了一种 车道线的检测方法、 装置、 设备及存储介质， 用于 提高车道线检测的完整性。 所述车道线的检测方 法包括： 获取至少一个角度相机拍摄的原始图 像， 并对原始图像进行图像特征抽取， 得到目标 图像特征信息； 确定多个第一采样点， 并通过目 标图像特征信息进行每个第一采样点的特征收 集， 得到每个第一采样点对应的采样点特征信 息； 对每个第一采样点对应的采样点特征信息进 行车道线相关性分值预测， 得到每个第一采样点 对应的车道线相关性分值， 并通过每个第一采样 点对应的车道线相关性分值确定多个第一采样 点中的多个第二采样点； 通过每个第二采样点对 应的采样点特征信息进行车道线预测， 得到目标 车道线信息 。 权利要求书3页 说明书14页 附图5页 CN 115063762 A 2022.09.16 CN 115063762 A 1.一种车道线的检测方法， 其特 征在于， 所述车道线的检测方法包括： 获取至少一个角度相机拍摄的原始图像， 并对所述原始图像进行图像特征抽取， 得到 目标图像特 征信息； 确定多个第一采样点， 并通过所述目标图像特征信息进行每个第一采样点的特征收 集， 得到每 个第一采样点对应的采样点特 征信息； 对每个第一采样点对应的采样点特征信 息进行车道线相关性分值预测， 得到每个第 一 采样点对应的车道线相关性分值， 并通过每个第一采样点对应的车道线相关性分值确定多 个第一采样点中的多个第二采样点； 通过每个第二采样点对应的采样点特 征信息进行 车道线预测， 得到目标 车道线信息 。 2.根据权利要求1所述的车道线的检测方法， 其特征在于， 所述确定多个第一采样点， 并通过所述目标图像特征信息进 行每个第一采样点的特征收集， 得到每个第一采样点对应 的采样点特 征信息， 包括： 构建以目标参照物为原点的3d空间， 并从所述3d空间中选取采样点， 得到多个第一采 样点， 每个第一采样点包括采样点的3d空间位置信息； 根据所述目标参照物与各角度相机之间的外参， 将每个第 一采样点投影至所述原始图 像， 得到每 个第一采样点在所述原 始图像中的图像坐标信息； 基于每个第 一采样点在所述原始图像中的图像坐标信 息， 对每个第 一采样点进行所述 目标图像特征信息和所述3d空间位置信息的收集， 得到每个第一采样点对应的采样点特征 信息。 3.根据权利要求2所述的车道线的检测方法， 其特征在于， 所述构建以目标参照物为原 点的3d空间， 并从所述3d空间中选取采样点， 得到多个第一采样点， 包括： 构建以目标参照物为原点的3d空间， 并以所述原点为起点， 按照预置偏移角度向所述 3d空间发射 射线， 得到多条目标射线； 按照预置的采样点选取策略， 从各条目标射线中选取多个3d空间点， 得到多个第一采 样点。 4.根据权利要求2所述的车道线的检测方法， 其特征在于， 所述基于每个第 一采样点在 所述原始图像中的图像坐标信息， 对每个第一采样点进 行所述目标图像特征信息和所述3d 空间位置信息的收集， 得到每 个第一采样点对应的采样点特 征信息， 包括： 通过预置收集算子， 对所述目标图像特征信 息进行每个第 一采样点在所述原始图像中 的图像坐标信息的图像特 征信息收集， 得到每 个第一采样点对应的第一图像特 征信息； 通过所述3d空间位置信 息生成每个第一采样点对应的位置特征信 息， 并将每个第一采 样点对应的第一图像特征信息和位置特征信息进 行叠加， 得到每个第一采样点对应的采样 点特征信息。 5.根据权利要求1所述的车道线的检测方法， 其特征在于， 所述获取至少一个角度相机 拍摄的原 始图像， 并对所述原 始图像进行图像特 征抽取， 得到目标图像特 征信息， 包括： 获取至少一个角度相机拍摄的原始图像， 并通过预置的车道线检测模型中的第 一卷积 神经网络和特征金字塔网络对每个角度相机拍摄的原始图像进行多尺寸的图像特征提取， 得到目标图像特 征信息。 6.根据权利要求1所述的车道线的检测方法， 其特征在于， 所述对每个第 一采样点对应权　利　要　求　书 1/3 页 2 CN 115063762 A 2的采样点特征信息进 行车道线相关性分值预测， 得到每个第一采样点对应的车道线相关性 分值， 并通过每个第一采样点对应的车道线相关性分值确定多个第一采样点中的多个第二 采样点， 包括： 通过预置的车道线检测模型中的第二卷积神经网络对每个第一采样点对应的采样点 特征信息进行信息融合， 得到每 个第一采样点对应的融合特 征信息； 对每个第一采样点对应的融合特征信 息进行车道线相关性分值计算， 得到每个第 一采 样点对应的车道线相关性分值； 对每个第一采样点对应的车道线相关性分值进行排序， 得到多个第 一采样点中车道线 相关性分值 最大的多个第二采样点。 7.根据权利要求1所述的车道线的检测方法， 其特征在于， 所述通过每个第 二采样点对 应的采样点特 征信息进行 车道线预测， 得到目标 车道线信息， 包括： 通过预置的车道线检测模型中的车道线查询张量对每个第二采样点对应的采样点特 征信息进行交叉注意力机制的车道线信息查询， 得到 至少一个第一车道线信息； 通过自注意力 机制对所述至少一个第 一车道线信 息进行车道线信 息融合， 得到目标车 道线信息， 所述目标车道线信息包括至少一个车道线的车道线类型信息和车道线位置信 息。 8.根据权利要求5 ‑7中任一项所述的车道线的检测方法， 其特征在于， 在所述获取至少 一个角度相 机拍摄的原始图像， 并对所述原始图像进行图像特征抽取， 得到目标图像特征 信息之前， 所述车道线的检测方法还 包括： 获取带车道线标注信 息的样本图像， 并通过预置的端到端神经网络模型对所述样本图 像进行车道线检测， 得到预测车道线信息， 所述端到端神经网络模型包括第一卷积神经网 络、 特征金字塔网络、 第二卷积神经网络、 以及车道线查询张量； 通过预置损失函数对所述预测车道线信 息和所述车道线标注信 息进行损失值计算， 得 到目标损失值， 所述目标损失值包括车道线类型损失值和车道线位置损失值； 根据所述目标损失值， 生成车道线检测模型或对所述端到端神经网络模型中的第 一卷 积神经网络、 特 征金字塔网络、 第二卷积神经网络、 以及车道线查询张量进行参数调整。 9.根据权利要求8所述的车道线的检测方法， 其特征在于， 所述通过预置损失函数对所 述预测车道线信息和所述车道线标注信息进行损失值计算， 得到目标损失值， 包括： 对所述预测车道线信息中的至少一个车道线信息和所述车道线标注信息中的至少一 个车道线信息进行 车道线信息匹配， 得到多个车道线信息匹配结果； 通过预置损失函数对每个车道线信 息匹配结果进行损失值计算， 得到每个车道线信 息 匹配结果对应的第一损失值， 并将所有第一损失值中损失值最小的第一损失值确定为目标 损失值。 10.一种车道线的检测装置， 其特 征在于， 所述车道线的检测装置包括： 获取模块， 用于获取至少一个角度相机拍摄的原始图像， 并对所述原始图像进行图像 特征抽取， 得到目标图像特 征信息； 收集模块， 用于确定多个第一采样点， 并通过所述目标图像特征信息进行每个第一采 样点的特 征收集， 得到每 个第一采样点对应的采样点特 征信息； 计分模块， 用于对每个第一采样点对应的采样点特征信息进行车道线相关性分值预权　利　要　求　书 2/3 页 3 CN 115063762 A 3