(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210963320.1 (22)申请日 2022.08.11 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 胥芳　林孟楠　陈教料　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/543(2017.01) G06T 7/13(2017.01) G06T 7/136(2017.01) A01D 46/28(2006.01)B25J 9/16(2006.01) (54)发明名称 一种基于深度学习与深度信息融合的葡萄 采摘方法 (57)摘要 本发明公开了一种基于深度学习与深度信 息融合的葡萄采摘方法， 包括采集葡萄的图片。 本方法为了在获取葡萄采摘点的过程中， 减少背 景对图像处理的干扰， 使图像处理结果更加准 确， 在轮廓检测的过程中引入深度信息， 通过比 较深度信息对葡萄目标点进行标记， 再根据标记 点的值转化为二值图， 结合cann y算法， 减少了环 境相近颜色及背景信息的干扰， 提升了轮廓检测 的准确性； 由于葡萄的ROI区存在葡萄及少许背 景信息， 因此采用葡萄轮廓内的深度计算方法代 替用ROI区内所有深度值的平均值来推测果梗所 在深度区间的方法， 所获得的深度区间更小， 可 排除的背景信息更多， 受到的环境干扰更少， 结 果更加准确， 且只需对葡萄进行检测， 无需对果 梗检测， 降低硬件的要求。 权利要求书3页 说明书8页 附图1页 CN 115330868 A 2022.11.11 CN 115330868 A 1.一种基于深度学习与深度信息融合的葡萄采摘方法， 其特征在于： 所述基于深度学 习与深度信息融合的葡萄采摘方法包括： 采集葡萄的图片， 获取RGB图及深度图， 并将两者对应的像素点叠加后， 输入至训练好 的葡萄识别模型， 得到可采摘的葡萄的ROI区域； 利用基于深度信息的canny算法获取ROI区域内的葡萄轮廓， 利用系数矩阵和葡萄的 ROI区域获取果梗的ROI区域， 然后利用葡萄轮廓内的深度信息得到果梗的深度区间； 结合果梗的深度区间对果梗的ROI区域内的深度图二 值化处理， 得到果梗的二 值图； 将果梗的二值图与果梗 的ROI区域 图掩膜叠加， 得到剔除背景的果梗的RGB图， 再进行 灰度转化、 双边滤波及图像细化处 理， 得到果梗的骨骼图； 剔除果梗的骨骼图中边缘以及与垂直方向夹角较大的骨骼线， 并筛选出最长的骨骼线 计算得到的中点， 为对应的二维采摘点； 以二维采摘点为中心， 选取n ×n的范围并遍历范围内的每个点， 剔除深度值不在果梗 深度区间的点， 取剩余 点的深度值的平均值作为采摘点的深度值； 将二维采摘点和采摘点的深度值结合， 得到三维的采摘点， 再配合采摘葡萄的机械臂 的执行器， 完成对葡萄的采摘， 直至所有葡萄都采摘完成。 2.如权利要求1所述的基于深度 学习与深度信 息融合的葡萄采摘方法， 其特征在于： 所 述葡萄识别模型训练时， 按照不同角度、 不同天气状态和 不同时间段采集葡萄的图片若干 张， 对每张图片中葡萄 所在的区域进 行标注， 并划分为训练集图片和验证集图片， 将 每张训 练集图片利用深度学习模型识别训练， 得到葡萄识别模型， 并用验证集图片对得到的葡萄 识别模型进行验证。 3.如权利要求1所述的基于深度 学习与深度信 息融合的葡萄采摘方法， 其特征在于： 所 述葡萄识别模型为YOLOv5s。 4.如权利要求2所述的基于深度 学习与深度信 息融合的葡萄采摘方法， 其特征在于： 所 述用验证集图片对得到的葡萄识别模型进 行验证包括： 通过计算葡萄识别模型的精度和召 回率， 并将精度及召回率绘制P ‑R曲线， 进一步计算出平均 精度， 平均精度值越大， 表 示葡萄 识别模型越可靠； 且， 其中， Precision表示葡萄识别模型的精度， Recall表示葡萄识别模型的召回率， TP表 示真的正样本数， FP表示 假的负样本数， FN表示真的负 样本数。 5.如权利要求1所述的基于深度 学习与深度信 息融合的葡萄采摘方法， 其特征在于： 所 述利用基于深度信息的can ny算法获取ROI区域内的葡萄轮廓包括： 用葡萄的ROI区域内的平均深度剔除部分背景， 以从左 往右、 自上而下的顺序遍历葡萄 的ROI区域内所有点， 根据目标葡萄点的深度值与周围点深度值的特征， 对目标葡萄点进 行 标记， 根据标记点的值对图像进行二 值化后， 输入至 canny算法中检测得到葡萄轮廓， 且权　利　要　求　书 1/3 页 2 CN 115330868 A 2M(x,y)＝|f(x,y)*Sobelx(x,y)|+|f(x,y)*Sobely(x,y)|； 其中， d(x,y)为在点(x,y)处的深度值， δ为深度差阈值， f(x,y)为在点(x,y)处的标记 值， M(x,y)为在点(x,y)处的梯度， θM为在点(x,y)处的梯度方向， Sobelx(x,y)、 Sobely(x,y) 分别为水平、 垂直方向上的三阶Sobel 算子； 所述利用系数矩阵和葡萄的ROI区域获取果梗的ROI区域包括： 根据葡萄的ROI区域的位置及尺寸， 引入系数矩阵 并通过葡萄的ROI区域， 计算 获得果梗的ROI区域如下， 且以YOLO格式表示： 其中， x1、 y1、 w1、 h1表示为YOLO格 式下葡萄的ROI 区域， xstem、 ystem、 wstem、 hstem表示为YOLO 格式下果梗的ROI区域， ρ 、 σ 、 τ、 θ表示 为0‑1的数值； 所述然后利用葡萄轮廓内的深度信息得到果梗的深度区间包括： 利用葡萄轮廓的深度信息结合 修正系数， 得到果梗的深度区间如下： dmin≤d≤dmin+Δw； 而， 其中， d表示果梗上任一点的深度值， dmin表示葡萄轮廓内的最小深度值， (x1,y1)表示葡 萄轮廓中最左侧的点， d(x1,y1)表示点(x1,y1)处的深度值， (x2,y2)表示葡萄轮廓中最右侧 的点， d(x2,y2)表示点(x2,y2)处的深度值， Δw表示果梗的ROI区域 帧图像像素宽度， α、 β 表 示修正系数。 6.如权利要求5所述的基于深度 学习与深度信 息融合的葡萄采摘方法， 其特征在于： 所 述结合果梗的深度区间对果梗的ROI区域内的深度图二 值化处理， 得到果梗的二 值图包括： 对果梗的ROI区域内符合深度值在深度区间的像素点的值设为255， 不符合的像素点的 值设为0， 得到： 权　利　要　求　书 2/3 页 3 CN 115330868 A 3