(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211271813.5 (22)申请日 2022.10.18 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区崇文路2号 (72)发明人 谭钦红　文洪伟　黄俊　 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/04(2012.01) G06Q 50/20(2012.01) (54)发明名称 基于YOLOv5模型的知识蒸馏方法 (57)摘要 本发明提供的基于YOLOv5模型的知识蒸馏 方法， 通过提取教师模型中的知识， 并通过知识 蒸馏框架提供的损失和学生模型原有损失一同 训练学生模型， 提高学生模型的检测精度。 且进 一步地， 本发明还根据在知识蒸馏训练后期， 教 师模型中的知识反而会对学生模型训练产生干 扰， 在训练时通过逐渐减少匹配成功的先验框的 方式， 从而 进一步提升了学生模型的检测精度。 权利要求书1页 说明书4页 附图2页 CN 115511061 A 2022.12.23 CN 115511061 A 1.一种基于 YOLOv5模型的知识蒸馏方法， 其特 征在于， 包括： S101： 同时向教师模型和学生模型中输入图片， 得到教师模型和学生模型的预测输出； S102： 使用所述学生模型的先验框和真实框做匹配， 筛选先验框， 并随着训练批次的增 加， 逐渐减少匹配成功的先验框； S103： 根据匹配成功的先验框， 找到所述教师模型和所述学生模型相对应的预测输出， 并根据预测输出平 移、 缩放先验框得到预测框； S104： 计算所述教师模型和所述学生模型预测框间的IOU， 并计算1 ‑IOU的均值得到知 识蒸馏框架的回归损失； S105： 使用Si gmoid函数处理所述教师模型和所述学生模型预测框的分类， 然后计算所 述教师模型和所述学生模型 预测框间的分类的交叉熵为知识蒸馏框架的分类损失； S106： 使用Si gmoid函数处理所述教师模型和所述学生模型预测框的置信度， 然后计算 所述教师模型和所述学生模型 预测框间的置信度的交叉熵为知识蒸馏框架的置信度损失； S107： 使用学生模型的损失和所述知识蒸馏框架的分类损失、 回归损失、 置信度损失一 同训练学生模型。 2.如权利 要求1所述的基于YOLOv5模型的知识蒸馏方法， 其特征在于， 所述S101中教师 模型和学生模型的选择为： 使用YOLOv5系列模型中参数多的模型作为教师模型， 使用YOLOv5系列模型中参数少的 模型作为学生模型。 3.如权利 要求1所述的基于YOLOv5模型的知识蒸馏方法， 其特征在于， 所述S102的具体 匹配方法为： 计算首先使用先验框匹配目标框的位置和大小， 保留靠近目标框， 且尺度合适的先验 框。 然后根据与目标框的IOU 大小进行排序， 前面N个先验框为匹配成功的先验框。 随着训练 批次的递增， 逐渐缩小N的大小。 4.如权利 要求1、 3所述的基于YOLOv5模型的知识蒸馏方法， 其特征在于， 计算所述教师 模型的预测框和所述学生模型的预测框的IOU方法包括了： GIOU、 DIOU、 CIOU。 5.如权利 要求1所述的基于YOLOv5模型的知识蒸馏方法， 其特征在于， 所述S107中使用 分类损失系 数、 回归损失系数、 置信度损失分别加权所述分类损失、 所述回归损失、 所述置 信度损失。权　利　要　求　书 1/1 页 2 CN 115511061 A 2基于YOLOv5模型的知识 蒸馏方法 技术领域 [0001]本发明涉及目标检测模型压缩领域， 尤其涉及一种基于YOLOv5模型的知识蒸馏方 法。 背景技术 [0002]近些年来， 深度学习由于其强大的拟合能力， 在包括图像处理、 多学科融合等多个 领域取得了成功的应用， 受到极大关注。 卷积神经网络作为深度学习中一种重要模型， 广泛 应用于图像分类， 目标检测和分割中。 基于卷积神经网络的目标检测算法取代了传统目标 检测算法， 成为当前的目标检测的主流算法。 一阶段目标检测算法YOLOv5， 保证了不错的检 测精度和速度。 但是， 基于卷积的目标检测网络， 参数量巨大， 部署到嵌入式设备上时， 需要 消耗掉大量的计算和内存。 因此， 使用知识蒸馏算法压缩YOLOv5模型 是一种很好的方式。 发明内容 [0003]本发明要解决的主要技术问题是， 提供一种基于YOLOv5模型的知识蒸馏方法， 以 实现压缩YOLOv5模型。 [0004]为了解决上述技术问题， 本 发明实施例提供了一种基于YOLOv5模型的知识蒸馏方 法， 包括： [0005]S101： 使用YOLOv5系列模型中参数多的模型作为教师模型， 使用YOLOv5系列模型 中参数少的模型作为学生模型。 训练 时， 所述教师模型设置评估模式， 所述学生模型设置为 训练模式。 通过同时向所述教师模型和所述学生模型中输入图片， 得到所述教师模型 的预 测输出tT、 pT、 cT和所述学生模型的预测模型的输出tS、 pS、 cS， 其中， 下标T表示所述 教师模型 的预测输出， 下标S表 示所述学生模 型的预测输出； t表 示一个预测框的偏移和缩放， 包括了 tx、 ty、 tw、 th， 表示预测的坐标x、 y方向上 的偏移和预测框宽度和高度的缩放； p表示一个预 测框的置信度， c表示 一个预测框的所有预测类别的概 率。 [0006]S102： 将所述学生模型的先验框A和真实框B做大小匹配和位置匹配， 保留匹配成 功先验框A+， 并随着训练批次的增加， 逐渐提高匹配标准， 逐渐减少所述匹配成功的先验框 A+， 直到所述匹配成功的先验 框A+数量减少到0， 此时蒸馏训练框架失效， 相当于 直接训练所 述学生模型。 对 于所述匹配成功的先验 框A+， a∈A+表示匹配成功先验 框中的其中一个， 其中 a包括了cx、 cy、 pw、 ph， cx、 cy表示先验框的x、 y坐标， pw、 ph先验框的宽度和高度。 [0007]S103： 在所述教师模型的预测输出中， 找到一个所述匹配成功的先验框a所对应的 所述教师模型输出tT， 所述匹配成功的先验框a经过包含所述教师模型输出tT参数的平移和 缩放， 得到所述教师模型的预测框bT。 在所述学生模型的预测输出中， 找到一个所述匹配成 功的先验框a所对应的学生模型输出tS， 所述匹配成功的先验框a经过包含所述学生模型输 出tS参数的平移和缩放， 得到所述学生模型的预测框bS。 其中b包括了bx、 by、 bm、 bh， 表示预测 框的坐标x、 y坐标和预测框的宽度和高度。 [0008]S104： 计算所述教师模型的预测框bT和所述学生模型的预测框bS的IOU， 计算所有说　明　书 1/4 页 3 CN 115511061 A 3