(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211112854.X (22)申请日 2022.09.14 (71)申请人 兰州智悦信息科技有限公司 地址 730030 甘肃省兰州市城关区高新 S625号路以南5号13号楼18层0 3室-26 (72)发明人 郭明霞　 (74)专利代理 机构 深圳国联专利代理事务所 (特殊普通 合伙) 44465 专利代理师 晏达峰 (51)Int.Cl. G06T 7/73(2017.01) G06V 10/46(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于深度关键点回归的电动汽车充电 口检测定位方法 (57)摘要 本发明公开了一种基于深度关键点回归的 电动汽车充电口检测定位方法， 包括1)提出基于 视觉目标检测器的充电口粗定位方法， 2)基于提 出基于深度神经网络关键点回归和充电端子几 何先验的充电端子关键点检测和精确定位方法、 3)提出利用传感器参数和充电口端子检测结果， 反解充电口精确三维位姿的方法， 以及利用双目 传感器参数和充电口端子检测结果反解充电口 精确三维位姿的方法， 4)提出将反解出的三维关 键点点云与真实的充电口三维关键点点云进行 配准和矫正的方法， 进一步提升充电口定位精 度。 本发明属于自动充电领域， 具体是一种基于 深度关键点回归的电动汽车充电口检测定位方 法， 从检出率、 定位精度和鲁棒性上提升充电口 检测性能水平。 权利要求书1页 说明书6页 附图3页 CN 115457130 A 2022.12.09 CN 115457130 A 1.一种基于深度关键点回归的电动汽车充电口检测定位方法， 其特征在于： 本发明采 取的技术方案如下： 本方案包括如下流 程： 一、 分别对输入的图像(单目、 双目均可)进行 预处理， 去除图像噪声， 增强图像对比度； 二、 训练视觉目标检测器(可选用YOLO  V5等通用目标检测器)， 实现充电口检出和粗定 位。 根据粗定位结果， 将充电口区域图像从整体图像中剪 裁出来(单目或双目)； 三、 将充电口区域图像块输入到充电端子关键点回归网络中， 精确回归出各充电端子 在图像中的精细坐标， 然后该精细坐标、 传感器参数(相机内参和外参)、 充电端子几何先验 进行联合优化， 对充电端子进行精确定位； 四、 根据相机投射投影约束(或双目立体视觉约束)， 基于充电端子的精确定位结果， 反 解充电口精确三维位姿； 五、 将反解出的三维关键点点云与真实的充电口三维关键点点云进行配准和矫正， 得 出最终的充电口三维位姿。权　利　要　求　书 1/1 页 2 CN 115457130 A 2一种基于深度关键点回归的电动汽车充电口检测定位方 法 技术领域 [0001]本发明属于自动充电技术领域， 具体是指一种基于深度关键点回归的电动汽车充 电口检测定位方法。 背景技术 [0002]随着计算机视觉技术的不断发展， 自动驾驶已成为未来的必然趋势， 电动汽车是 未来自动驾驶技术产业化的最主要的平台。 为了适应未来的电动汽车 的自动化趋势， 电动 汽车配套相关的基础设施的自动化也越来越受到工业界和学术界的关注， 而电动汽车的充 电设备在能源补给方面起着至关重要的作用。 为了能够实现更加快速便利的充电， 自动充 电技术是大势所趋， 而自动充电技术中的关键 问题充电口识别与定位， 是整个 自动充电技 术中最至关重要的一个部分。 [0003]当前市场上仍未出现投入量产的自动充电系统和装备， 仍处于概念展示和技术研 发阶段。 目前已经公开的充电口识别与定位技术从数据获取层面来分， 分为基于主动相 机 和被动相机的技术。 主动相机包括结构光相机、 TOF相机和激光雷达LiDAR等。 被动相机则主 要为普通可见光相机。 从识别与定位算法层面来分， 分为基于全局模 型拟合的方法、 基于部 件检测的方法。 全局拟合方法对传感器三维感知能力要求高， 需要传感器产生充电口精确 的三维感知， 并与充电口模板进 行匹配。 当充电口感知不完全或感知数据质量不高时， 拟合 算法不能正常工作， 造成定位失败。 基于部件检测的方法灵活性高， 鲁棒可靠， 但存在精度 较差的问题。 当前基于 关键部件检测的算法大都是检测充电口本身或者充电口中的充电端 子， 将充电口和充电端子 建模为椭圆进 行检测。 但是由于充电孔的同心圆结构， 基于椭圆检 测的方法语义模糊， 不能明确的拟合充电孔的内圆或外圆， 并且在检测过程中难以对充电 端子进行区分， 只检测椭圆， 没有考虑到充电口关键部件之间的形状约束， 导致在实际应用 中， 算法的精度较差 。 [0004]现有技术中通用目标检测方法， 当前通用目标检测方法主要分为三类， 分别是基 于图像灰度值的方法、 基于特征点的方法和基于深度学习的方法。 基于图像灰度值的方法， 直接以图像的灰度与模板图像进 行匹配， 对光照很敏感， 且处理遮挡比较困难。 基于特征点 的充电口检测方法， 提取图像特征点， 如SIFT， SURF， 并用算法迭代 求出相互匹配的特征， 求 出这些匹配特征点之间的变换关系， 这类方法对光照不太敏感， 也可以一定程度上处理遮 挡， 但是在充电口检测场景中， 颜色背景单一， 通常很难检测到足够的特征点， 检测失败率 较高， 且计算量过大， 在 对处理速度有一定要求时， 局限性很大。 基于深度学习的检测方法， 虽然具有较强的鲁棒性， 但是需要大量的标注样本进行训练， 而且没有针对充电口的特殊 结构进行网络设计， 很难保证稳定性。 此外， 通用目标检测 器的检测精度较低， 通常都是给 出简单的二维包围盒， 而不能给出充电口的毫米级三维位姿， 因而不能够使用在充电口检 测中。 [0005]现有技术中其他充电口检测和定位方法， 使用Halcon中的模板匹配方法从图像中 直接匹配充电孔模板位置， 当充电口姿态偏移较大时， 匹配误差较大。 基于霍夫变换的椭圆说　明　书 1/6 页 3 CN 115457130 A 3