(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210565489.1 (22)申请日 2022.05.18 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 朱意霖　郑太雄　刘劲松　易源　 谢新宇　张世博　张黎　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 方钟苑 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/766(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/13(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向采摘机器人的遮挡和重叠果实识别方 法 (57)摘要 本发明涉及一种面向采摘机器人的遮挡和 重叠果实识别方法， 属于图像识别领域， 提出 Dense‑TRH‑YOLO模型， 在YOLOv5的基础上将 Denseblock模 块融合到骨干网中， 创建了早期层 到后期层的段路径， 并且将 Transfomer模块融入 到模型中， 提高语义可分辨性并减少类别混淆， 增加对遮挡物的识别精度， 然后通过U net++‑PAN 颈部结构提取各层图像特征， 最后用Efficient   IOU Loss损失函数代替原模型的CIOU进行边框 回归输出检测框位置和分类置信 度， 在CIOU的基 础上分别计算宽高的差异值代 替了纵横比， 同时 引入Focal  Loss解决难易样本不平衡的问题。 权利要求书2页 说明书6页 附图3页 CN 114882498 A 2022.08.09 CN 114882498 A 1.一种面向采摘机器人的遮挡和重 叠果实识别方法， 其特 征在于： 包括以下步骤： S1： 采用改进的Yolov5作为果实目标检测的主体算法， 将改 良的Dense ‑TR‑CSP代替 CSPDarknet‑53作为骨干网络， 将Densebl ock模块融合到骨干网中； S2： 将原YOLOv5的最深层C 3模块替换为C3TR模块； S3： 采用Unet++ ‑PAN结构替换原YOLOv5中 的PAnet作为模型的颈部结构， 并且在结合浅 层信息和深层信息时， 引入可 学习的权 重来学习不同输入特 征的重要性； S4： 在步骤S3对图像特征进行深层提取后， 以三个不同特征提取层传入Yolo  head对水 果种类进行检测 和分类； S5： 在步骤S4 的全连接层 中采用softmax分类器进行目标检测分类， 并采用Efficient   IOU Loss损失函数代替原模型的CIOU 进行边框回归输出检测框位置和分类置信度； S6： 对步骤S5中定位后图像剪裁后进行边缘提取， 使用SVM分类器对定位后的果实进行 是否能直接采摘作分类。 2.根据权利要求1所述的面向采摘 机器人的遮挡和重叠果实识别方法， 其特征在于： 所 述步骤S1中采用改进的Yolov5作为目标检测的主体算法， 其骨干网络包含一个Focus模块 和四个BottleneckCSP模块， 将Denseblcok模块融入到骨干网络中， 组成Dense ‑ CSPDarknet53。 3.根据权利要求1所述的面向采摘 机器人的遮挡和重叠果实识别方法， 其特征在于： 步 骤S2中所述将原YOLOv5的最深层C3模块替换为C3TR模块， 具体包括： 首先将传入的图像特 征分为两个分支， 在第一个分支中， 通过1 ×1卷积后传入带有多头注意力机制的 Transfomer模块， 在第二个分支中仅采用1 ×1卷积操作； 在两个 分支提取完成后， 采用拼接 操作将分支信息融合， 并通过1 ×1卷积还原通道数量； Transformer模块中自注意力机制计算公式为： 其中， Q、 K、 V分别表示 查询向量、 键向量和值向量、 dk为缩放因子 。 4.根据权利要求1所述的面向采摘 机器人的遮挡和重叠果实识别方法， 其特征在于： 在 所述步骤S3中， 首先在同尺寸的原始输入节点和输出节点之间加入跨层加权链接； 在不同 尺寸的节点之间采用上采样或下采样加权特征融合， 得到Unet++ ‑PAN结构提取不同尺 寸的 图像特征； Unet++‑PAN中各节点计算式为： 其中， H是卷积， D是下采样， u是上采样， 令xi,j表示节点输出， i表示沿采样层数， j表示 沿跳接索引密集 块的卷积层。 5.根据权利要求1所述的面向采摘 机器人的遮挡和重叠果实识别方法， 其特征在于： 所 述步骤S4中通过将得到的图像特征输入到Yolov5框架中末端的基于anchor的Yolo  head进 行不同尺寸的特 征提取。 6.根据权利要求1所述的面向采摘 机器人的遮挡和重叠果实识别方法， 其特征在于： 所权　利　要　求　书 1/2 页 2 CN 114882498 A 2述步骤S5中使用Efficient  IOU Loss损失函数代替原模型的CIOU进行边框 回归输出检测 框位置和分类置信度， 在CIOU的基础上分别计算宽高的差异 值代替纵横比， 同时引入 Focal  Loss解决难易样本不平衡的问题； 其中GFL计算公式为： 其中， Cw和Ch是覆盖框的最小宽度和高度， LIOU是IOU损失， Ldis是距离损失， Lasp是方面损 失， b、 w、 h分别代 表了中心点。 7.根据权利要求1所述的面向采摘 机器人的遮挡和重叠果实识别方法， 其特征在于： 所 述步骤S6中对定位后图像剪裁后进行边缘提取， 使用SVM分类器对定位后的果实进行是否 能直接采摘作分类； SVM的原理为 求数据之间的最大几何间隔： S.t.yi(wTxi+b)≧1 其中： w， b为需要求得的参数， xi， yi为训练样本数。权　利　要　求　书 2/2 页 3 CN 114882498 A 3