(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221083749 2.4 (22)申请日 2022.07.15 (71)申请人 中国石油大 学 （华东） 地址 266580 山东省青岛市黄岛区长江西 路66号中国石油大 学 (72)发明人 于连栋　周慧敏　贾华坤　高荣科　 陆洋　陈孝喆　陈晨　 (74)专利代理 机构 北京科名专利代理有限公司 11468 专利代理师 陈朝阳 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/48(2022.01) G06T 7/73(2017.01)G06V 10/82(2022.01) G06V 30/148(2022.01) G06V 30/19(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于机器视觉的轴承表面划痕检测方 法 (57)摘要 本发明公开一种基于机器视觉的轴承表面 划痕检测方法， 使用工业相机配合工业镜头、 同 轴光源采集轴承图像， 获取轴承表面图像数据 集； 使用霍夫变换提取感兴趣区域； 使用极坐标 变换将轴承圆环图像展开为矩形， 分布在圆环上 的字符转换为横向分布； 搭建轴承表 面划痕检测 网络模型， 基于YOLOv5网络模型进行改进， 网络 中加入卷积注 意力机制， 位置回归损失函数采用 EIoU损失， 检测头使用解耦头部， 检测框预测回 归参数使用无锚机制； 使用Pa ddleOCR网络模型， 训练字符识别网络。 本发明有效提高了程序运行 效率， 降低了轴承表面划痕检测误检率， 提高了 划痕检测召回率。 权利要求书3页 说明书7页 附图6页 CN 115272204 A 2022.11.01 CN 115272204 A 1.一种基于 机器视觉的轴承表面划痕检测方法， 其特 征在于， 包括以下步骤： 步骤1： 使用工业相机配合工业镜头、 同轴光源采集轴承图像， 获取轴承表面图像数据 集； 步骤2： 提取图像感兴趣区域， 获得轴承圆环图像， 对图像进行数据 标注， 制作划痕检测 数据集； 步骤3： 将轴承圆环图像展开为矩形， 分布在圆环上的字符转换为横向分布， 制作字符 识别数据集； 步骤4： 搭建轴承表面划痕检测网络模型， 使用步骤2划痕检测数据集进行划痕检测网 络模型的训练； 步骤5： 使用步骤3字符识别数据 集训练CRNN字符识别网络模型， 基于PaddleOCR实现字 符识别； 步骤6： 图像预测， 若检测到轴承图像有划痕， 则判定该轴承不合格， 并将划痕位置可视 化； 若检测到轴承图像无划痕， 则判定该轴承合格， 并输出 该合格轴承的型号。 2.根据权利要求1所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的步骤1中， 具体为： 从工业现场收集合格轴承及表面带有划痕的不合格轴承， 搭建实验 平台， 使用工业相机及配套工业镜头、 同轴光源， 采集轴承表 面图像， 采集到的图像为2 448* 2048RGB彩色图像； 对原图边缘部分进行裁剪， 裁剪后尺 寸为2048*2048； 对裁剪后图像统一 进行缩放处 理， 处理后图像尺寸 为640*640， 神经网络 输入的图像尺寸即为640 *640。 3.根据权利要求1所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的步骤2中， 所述提取图像感兴趣区域， 获得轴承圆环图像具体步骤为： 使用基于梯度的 霍夫变换检测圆环， 具体为使用二次霍夫梯度法检测图像中的同心圆， 包括： 第一次霍夫梯度检测： 将彩RGB图像转换为灰度图像， 使用Canny边缘检测算子得到边 缘图像信息， 同时得到各像素点的梯度信息； 通过霍夫变换在参数空间进行梯度方向的累 加， 累加的局部峰值即为圆心； 再次遍历所有边缘点， 通过累加局部半径峰值， 确定圆的较 小半径r1； 第二次霍夫梯度检测： 已知第一次霍夫检测的半径为r1， 将 半径为r1+10的圆内像素值 全部设为0， 再次进 行霍夫变换得到较大圆的半径r2； 至此， 两个同心圆检出， 中间圆环区域 即为图像感兴趣区域。 4.根据权利要求1所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的步骤2中， 所述的制作轴承划痕检测数据集具体为： 对采集图像进行标注， 当轴承存在 划痕时， 使用矩形框标注划痕所在位置， 标注完成的图像生成对应的文本文件， 文件内容包 括图像类别、 矩形框的宽w、 矩形框的高h及矩形框中心点的坐标(x， y)； 当轴承表面无划痕 时， 不对该图像进行标注； 其中， 划痕检测数据集划分以训练集： 验证集： 测试集＝8:1:1的 比例进行划分。 5.根据权利要求1所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的步骤3中， 所述的将轴承圆环图像展开为矩形， 对应的分布在圆环上的字符转换为横向 分布具体步骤为： 使用极坐标与直角坐标的转换公式， 将圆环轴承展开 为矩形， x＝ρ cosθ y＝ρ sinθ权　利　要　求　书 1/3 页 2 CN 115272204 A 2其中(x， y)为圆环上的点转换到直角坐标系的坐标， ρ 为极坐标系中该点的极径， θ为极 坐标系中该点的极角。 6.根据权利要求1所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的步骤3中， 所述的制作字符识别数据集具体为， 在矩形轴承图像上截取字符区域， 图像 文件命名由轴承 型号和后缀名组成； 字符识别数据集划分以训练集： 验证集： 测试集＝8:1: 1的比例进行划分。 7.根据权利要求1所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的步骤4中， 所述轴承表面划痕检测网络模 型的搭建包括： 基于YOLOv5的目标检测网络模 型进行改进： 在骨干网络后、 瓶颈层前加入卷积注意力机制 ‑CBAM模块， 所述目标检测网络 的位置回归损失函数采用EIOU损失， 所述检测 头使用解耦头部， 检测 框预测回归参数使用 无锚机制。 8.根据权利要求7所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的骨干网络为CSPDarknet53结构， Darknet53 是一个53层的深度神经网络， 由残差模块按 3:6:9:3的比例堆叠而成； 所述CSP结构为将输入分为两个 分支， 其中一个分支先通过CBL模 块， 再通过n个BottleNeck层， BottleNeck层后进行卷积操作， 另一分支直接进行卷积， 两个 分支所得特征图进行拼接， 通过SiLU激活函数进行非线性变换， 最后通过CBL模块输出； 其 中所述CBL模块包括卷积、 批归一化、 SiLU激活函数； 所述BottleNeck层包括1*1卷积与3*3 卷积组成的残差连接 。 9.根据权利要求7所述的一种基于机器视觉的轴承表面划痕检测方法， 其特征在于， 所 述的目标检测网络加入卷积注意力机制 ‑CBAM模块， CBAM模块由通道注意力机制和空间注 意力模块机制组成； 其中， 通道注意力机制对特征图在通道维度上进行最大池化及平均池 化操作， 将所得特征图送入共享全连接层， 依次经过加和操作和sigmoid激活操作， 生成通 道注意力机制图； 空间注意力机制的输入是上述通道注意力机制的输出特征图， 在空间维 度上进行全局池化和平均池化操作， 分别得到一个一通道的特征图， 将两个特征图在通道 维度上进行拼接， 经 过卷积及sigmo id激活最终得到卷积注意力机制特 征图。 10.根据权利要求7 所述的一种基于 机器视觉的轴承表面划痕检测方法， 其特 征在于， 所述的目标检测网络采用EIOU损失函数， EIOU损失在CIOU损失上进行改进， 将宽高比 损失替换为宽高损失， EIOU损失函数公式为： 其中： IOU为预测框与真实框的交集与并集之比， ρ(b， bgt)代表预测框与真实框中心点 的欧氏距离， b代表预测框的中心点， bgt代表真实框的中心点， c代表刚好能包含预测框与真 实框的最小外接矩形框对角线距离； ρ(w， wgt)代表预测框宽与真实框宽的差值， w代表预测 框的宽， wgt代表真实框的宽， Cw代表刚好能包含 预测框与真实框最小外接矩形框的宽； ρ(h， hgt)代表预测框高与真 实框高的差 值， h代表预测框的高， hgt代表真实框的高， Ch代表刚好能 包含预测框与真实框最小外 接矩形框的高； 设定部分划痕为小目标， 所述小目标为目标边界框的宽高与图像的宽高比值小于0.1， 或者目标边界框面积与图像面积的比值小于0.03； 将无锚框机制引入YOLOv5检测头中， 并权　利　要　求　书 2/3 页 3 CN 115272204 A 3