(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210545281.3 (22)申请日 2022.05.19 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 罗达志　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 董慧 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) (54)发明名称 视频检测方法、 装置、 设备、 存储介质和程序 产品 (57)摘要 本申请提供一种视频检测方法、 装置、 设备、 存储介质和程序产品， 相关实施例可以应用于版 权管理、 版权保护、 视频侵权管理、 侵权防护、 视 频安全、 版权安全维护等场景。 视频检测过程中， 通过获取待检测视频对应的视频帧序列， 使用训 练好的毛玻璃区域检测模型， 依次对 该视频帧序 列中各视频帧进行毛玻璃检测， 获得视频帧序列 中存在毛玻璃区域的目标视频帧以及这些目标 视频帧中毛玻璃区域的位置， 对于连续的目标视 频帧， 进一步按照毛玻璃区域的位置的重合度进 行聚类， 得到多个连续的目标视频片段， 就可 以 输出多个连续的目标视频片段各自在待检测视 频中的起止时间以及毛玻璃区域的位置， 提高视 频中毛玻璃区域检测的精度。 权利要求书4页 说明书29页 附图13页 CN 115115969 A 2022.09.27 CN 115115969 A 1.一种视频检测方法， 其特 征在于， 所述方法包括： 获取待检测视频对应的视频帧序列； 通过训练好的毛玻璃区域检测模型， 依次对所述视频帧序列中各视频帧进行毛玻璃检 测， 获得所述视频帧序列中存在毛玻璃区域的目标视频帧以及所述目标视频帧中毛玻璃区 域的位置； 对于所述待检测视频中连续的所述目标视频帧， 根据毛玻璃区域的位置的重合度进行 聚类， 得到多个连续的目标视频片段； 输出所述多个连续的目标视频片段各自在所述待检测视频中的起止时间以及所述毛 玻璃区域的位置 。 2.根据权利要求1所述的方法， 其特征在于， 所述获取待检测视频对应的视频帧序列， 包括： 获取待检测视频， 将所述待检测视频按所述待检测视频的帧率依次切分， 得到多个视 频分片； 从每个视频分片中按预设时间 间隔采样， 获取 预设数量的视频帧； 基于从每 个视频分片得到的预设数量的视频帧， 得到所述视频帧序列。 3.根据权利要求1所述的方法， 其特征在于， 所述通过训练好的毛玻璃区域检测模型， 依次对所述视频帧序列中各视频帧进行毛玻璃检测， 包括： 将所述视频帧序列中的各视频帧， 依次输入训练好的毛玻璃区域检测模型； 通过所述毛玻璃区域检测模型的特 征提取网络， 提取 所述视频帧对应的特 征图； 通过所述毛玻璃区域检测模型的毛玻璃分类网络， 基于所述视频帧的特征图， 获得所 述特征图中各 特征点的类别与置信度。 4.根据权利要求3所述的方法， 其特征在于， 所述获得所述视频帧序列中存在毛玻璃区 域的目标视频帧以及所述目标视频帧中毛玻璃区域的位置， 包括： 获取所述毛玻璃分类网络 输出的所述特 征图中各 特征点的类别与置信度； 基于所述特征图的各特征点对应的区域为毛玻璃区域的置信度， 以及各特征点对应的 预测候选框的预测位置， 确定所述视频帧的毛玻璃 区域检测结果， 所述毛玻璃 区域检测结 果包括所述视频帧中是否存在毛玻璃区域以及毛玻璃区域的位置； 根据所述视频帧序列中各视频帧的毛玻璃区域检测结果， 获得所述视频帧序列中存在 毛玻璃区域的目标视频帧以及所述目标视频帧中毛玻璃区域的位置 。 5.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取用于训练毛玻璃区域检测模型的有标注训练样本集 合； 根据所述有标注训练样本集合中各个有标注训练样本的标注数据， 确定所述有标注训 练样本中毛玻璃区域的宽高比； 对所述有标注训练样本中毛玻璃区域的宽高比进行聚类， 得到多个 类中心； 将所述类中心所表示的宽 高比作为训练所述毛玻璃区域检测模型的超参数后， 使用所 述有标注训练样本对所述毛玻璃区域检测模型进行有监 督训练。 6.根据权利要求1所述的方法， 其特征在于， 用于训练所述毛玻璃区域检测模型的有标 注训练样本的获取步骤 包括： 获取多个样本 视频；权　利　要　求　书 1/4 页 2 CN 115115969 A 2对于每个样本视频， 从所述样本视频的首个视频帧开始遍历， 当遍历到的视频帧与邻 近视频帧不相似时， 将所述遍历到的视频帧加入待标注训练样本集合中， 当所述遍历到的 视频帧与邻近视频帧相似时， 则略过所述遍历到的视频帧， 直至所述样本视频的视频帧遍 历结束； 基于所述多个样本视频遍历完成时获得的待标注训练样本集合， 得到用于训练毛玻璃 区域检测模型的有标注训练样本集 合。 7.根据权利要求1所述的方法， 其特征在于， 用于训练所述毛玻璃区域检测模型的有标 注训练样本的获取步骤 包括： 获取所述有标注训练样本集 合中标注无毛玻璃区域的无毛玻璃训练样本； 按照设定的嵌入位置， 对所述无毛玻璃训练样本进行毛玻璃仿真嵌入， 得到仿真毛玻 璃训练样本； 将所述嵌入位置， 作为所述仿真毛玻璃训练样本的标注数据后， 将标注了毛玻璃区域 的仿真毛玻璃训练样本添加至所述有标注训练样本集 合中。 8.根据权利要求7所述的方法， 其特征在于， 所述按照设定的嵌入位置， 对所述无毛玻 璃训练样本进行毛玻璃仿真嵌入， 得到 仿真毛玻璃训练样本， 包括： 按照设定的嵌入位置， 基于毛玻璃模糊度、 毛玻璃区域的文本样式和毛玻璃区域的图 标样式中的至少一种， 对所述无毛玻璃训练样本进行毛玻璃仿真嵌入， 得到仿真毛玻璃训 练样本。 9.根据权利要求1所述的方法， 其特征在于， 所述毛玻璃区域检测模型的有监督训练步 骤包括： 利用毛玻璃区域检测模型对有标注训练样本集合中的有标注训练样本进行预测， 得到 所述有标注训练样本的特征图中各特征点的预测信息； 所述特征点的预测信息包括： 预测 候选框的预测位置、 所述预测候选框中是否存在毛玻璃的预测置信度以及所述预测候选框 是否为毛玻璃的预测置信度； 基于所述特征图的特征点的预测信 息以及所述有标注训练样本的标注数据， 得到所述 有标注训练样本的第一类损失、 第二类损失和第三类损失； 其中， 所述第一类损失表征预测 候选框的位置和标注 候选框的位置之 间的损失； 所述第二类损失表征特征点对应的区域存 在毛玻璃的预测置信度和标注置信度之 间的损失， 以及表征特征点对应的区域不存在毛玻 璃的预测置信度和真实置信度之间的损失； 第三类损失表征特征点对应的区域是否存在毛 玻璃的预测置信度和真实置信度之间的损失； 基于所述有标注训练样本集合中的有标注训练样本的第 一类损失、 第 二类损失和第 三 类损失， 对毛玻璃 区域检测模型 的模型参数进行调整， 以对所述毛玻璃 区域检测模型进行 有监督训练。 10.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取无标注训练样本集合， 对所述无标注训练样本集合中的无标注训练样本进行数据 增强， 基于所述无 标注训练样本和 增强后的训练样本， 得到无 标注样本相似 对； 将通过有标注训练样本集合进行有监督训练得到的毛玻璃区域检测模型作为初始模 型， 利用所述初始模型分别对所述无标注样本相似对包括的训练样本进行预测， 获取所述 无标注样本相似 对包括的训练样本各自的预测结果；权　利　要　求　书 2/4 页 3 CN 115115969 A 3