(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210656671.8 (22)申请日 2022.06.10 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 申世伟　金伟　卢佳乐　孔令树　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李加欣 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01) (54)发明名称 视频分类模型的训练方法、 装置、 电子设备 以及存储介质 (57)摘要 本申请关于一种视频分类模 型的训练方法、 装置、 电子设备以及存储介质， 属于计算机技术 领域， 在本申请实施例中， 通过样本视频训练一 个视频分类模 型， 在训练过程中构建了基于样本 视频图像的图像特征对样本视频进行分类的任 务以及基于样本视频的视频特征对样本视频进 行分类的任务， 通过两个分类任务使得视频分类 模型既学习到视频图像层面的内容， 也学习到视 频层面的内容， 从而提高视频分类模 型在进行视 频分类时的准确率。 使用视频分类模 型对视频进 行分类就能够在保证准确性的前提下， 提高视频 分类的效率。 权利要求书2页 说明书23页 附图4页 CN 114998655 A 2022.09.02 CN 114998655 A 1.一种视频分类模型的训练方法， 其特 征在于， 包括： 将样本视频输入视频分类模型， 通过所述视频分类模型中的特征提取子模型， 获取所 述样本视频的多个样本 视频图像的图像特 征； 通过所述视频分类模型中的注意力编码子模型， 对所述多个样本视频图像的图像特征 进行编码， 得到所述样本 视频的视频 特征； 通过所述视频分类模型， 对所述多个样本视频图像的图像特征进行处理， 得到所述样 本视频的第一预测视频类型； 对所述样本视频的视频特征进行处理， 得到所述样本视频 的 第二预测视频类型； 基于第一差异信息和第二差异信息， 对所述视频分类模型进行训练， 所述第一差异信 息为所述样本视频的标注视频类型与所述第一预测视频类型之 间的差异信息， 所述第二差 异信息为所述标注视频类型与所述第二预测视频类型之间的差异信息 。 2.根据权利要求1所述的视频分类模型的训练方法， 其特征在于， 所述基于第 一差异信 息和第二差异信息对所述视频分类模型进行训练包括： 基于所述第 一差异信 息和所述第 二差异信 息， 对所述视频分类模型中的所述特征提取 子模型进行训练； 基于所述第二差异信息， 对所述视频分类模型中的所述注意力编码子模型进行训练。 3.根据权利要求2所述的视频分类模型的训练方法， 其特征在于， 所述基于所述第 一差 异信息和所述第二差异信息， 对所述视频分类模型中的所述特征提取子模型进行训练包 括： 在所述多个样本视频图像包括至少两个图像 内容不同的样本视频图像的情况下， 基于 所述第一差异信息对应的第一损失函数和 第一权重， 以及所述第二差异信息对应的第二损 失函数和第二权重， 对所述特征提取子模型进行训练， 所述第一权重用于表示所述第一损 失函数在训练时对所述视频分类模型的模型参数的影响程度， 所述第二权重用于表示所述 第二损失函数在训练 时对所述视频分类模型的模型参数的影响程度， 所述第二权重大于所 述第一权 重； 所述基于所述第 二差异信 息， 对所述视频分类模型中的所述注意力编码子模型进行训 练包括： 基于所述第二损失函数以及所述第二权 重， 对所述注意力编码子模型进行训练。 4.根据权利要求2所述的视频分类模型的训练方法， 其特征在于， 所述基于所述第 一差 异信息和所述第二差异信息， 对所述视频分类模型中的所述特征提取子模型进行训练包 括： 在所述多个样本视频图像为相同图像 内容的样本视频图像的情况下， 基于所述第 一差 异信息对应的第一损失函数和 第一权重， 以及所述第二差异信息对应的第二损失函数和 第 二权重， 对所述特征提取子模型进行训练， 所述第一权重用于表示所述第一损失函数在训 练时对所述视频分类模型的模型参数的影响程度， 所述第二权重用于表示所述第二损失函 数在训练时对所述视频分类模型的模型参数的影响程度， 所述第二权重小于所述第一权 重； 所述基于所述第 二差异信 息， 对所述视频分类模型中的所述注意力编码子模型进行训 练包括：权　利　要　求　书 1/2 页 2 CN 114998655 A 2基于所述第二损失函数以及所述第二权 重， 对所述注意力编码子模型进行训练。 5.根据权利要求1所述的视频分类模型的训练方法， 其特征在于， 所述通过所述视频分 类模型中的注意力编码子模型， 对所述多个样本视频图像的图像特征进行编码， 得到所述 样本视频的视频 特征包括： 通过所述视频分类模型中的所述注意力编码子模型， 对所述多个样本视频图像中每两 个相邻的样本视频图像的图像特征进行编码， 得到所述多个样本视频图像的注意力特征； 将所述多个样本 视频图像的注意力特 征进行融合， 得到所述样本 视频的视频 特征。 6.根据权利要求1所述的视频分类模型的训练方法， 其特征在于， 所述对所述多个样本 视频图像的图像特 征进行处 理， 得到所述样本 视频的第一预测视频类型包括： 对所述多个样本 视频图像的图像特 征进行池化， 得到所述样本 视频的图像分类特 征； 对所述图像分类特 征进行全连接和归一 化， 得到所述样本 视频的第一分类参数； 基于所述第一分类参数， 确定所述样本 视频的第一预测视频类型。 7.一种视频分类模型的训练装置， 其特 征在于， 包括： 图像特征获取单元， 被配置为执行将样本视频输入视频分类模型， 通过所述视频分类 模型中的特 征提取子模型， 获取 所述样本 视频的多个样本 视频图像的图像特 征； 注意力编码单元， 被配置为执行通过所述视频分类模型中的注意力编码子模型， 对所 述多个样本 视频图像的图像特 征进行编码， 得到所述样本 视频的视频 特征； 分类单元， 被配置为执行通过所述视频分类模型， 对所述多个样本视频图像的图像特 征进行处理， 得到所述样本视频 的第一预测视频类型； 对所述样本视频的视频特征进行处 理， 得到所述样本 视频的第二预测视频类型； 训练单元， 被配置为执行基于第一差异信息和第二差异信息， 对所述视频分类模型进 行训练， 所述第一差异信息为所述样本视频的标注视频类型与所述第一预测视频类型之间 的差异信息， 所述第二差异信息为所述标注视频类型与所述第二预测视频类型之 间的差异 信息。 8.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述指令， 以实现如权利要求1至6中任一项所述的视 频分类模型的训练方法。 9.一种计算机可读存储介质， 当所述计算机可读存储介质中的指令由电子设备的处理 器执行时， 使得电子 设备能够执行如权利要求 1至6中任一项 所述的视频分类模 型的训练方 法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现权利要求1至 6中任一项所述的视频分类模型的训练方法。权　利　要　求　书 2/2 页 3 CN 114998655 A 3