(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211065122.X (22)申请日 2022.09.01 (71)申请人 抖音视界有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 (72)发明人 李嘉桐　傅文泽　白刚　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 马瑞 (51)Int.Cl. G06F 16/783(2019.01) G06F 16/75(2019.01) G06F 16/71(2019.01) G06V 20/40(2022.01) G06F 40/30(2020.01) (54)发明名称 视频处理方法、 装置、 电子设备及存 储介质 (57)摘要 本申请公开了一种视频处理方法、 装置、 电 子设备及存储介质， 其中视频处理方法包括： 获 取待处理视频中的多个视频帧和与所述待处理 视频对应的音频数据； 从所述多个视频帧中， 通 过图文匹配模型确定包括目标对象的目标视频 帧； 从所述音频数据中确定与所述目标对象匹配 的目标音频片段； 在所述目标音频片段所对应视 频中包括所述目标视频帧的情况下， 从所述待处 理视频中确定包括所述目标视频帧的目标视频 片段。 权利要求书2页 说明书11页 附图4页 CN 115438223 A 2022.12.06 CN 115438223 A 1.一种视频处 理方法， 其特 征在于， 包括： 获取待处 理视频中的多个视频帧和与所述待处 理视频对应的音频 数据； 从所述多个视频帧中， 通过图文匹配模型确定包括目标对象的目标视频帧； 从所述音频 数据中确定与所述目标对象匹配的目标音频片段； 在所述目标音频片段所对应视频中包括所述目标视频帧的情况下， 从所述待处理视频 中确定包括所述目标视频帧的目标视频片段。 2.根据权利要求1所述的视频处理方法， 其特征在于， 所述从所述多个视频帧中， 通过 图文匹配模型确定包括目标对象的目标视频帧， 包括： 确定所述目标对象的关键词； 根据所述关键词和所述多个视频帧， 通过图文匹配模型确定所述目标视频帧； 其中， 所述图文匹配模型通过样本数据训练得到， 所述样本数据包括样本视频帧和样 本对象的关键词， 所述样本视频帧的标签为所述样本视频帧是否包括所述样本对象所对应 图像。 3.根据权利要求2所述的视频处理方法， 其特征在于， 所述根据 所述关键词和所述多个 视频帧， 通过图文匹配模型确定所述目标视频帧， 包括： 通过所述图文 匹配模型中的文本编码器对所述关键词 进行文本特征提取， 得到文本特 征矩阵； 通过所述图文 匹配模型中的图像编码器对所述视频帧进行图像特征提取， 得到图像特 征矩阵； 计算所述文本特 征矩阵与所述图像特 征矩阵之间的相似度矩阵； 根据所述相似度矩阵， 确定所述多个视频帧中每个所述视频帧与所述目标对象的相似 度； 根据所述相似度， 确定所述目标视频帧。 4.根据权利要求1或2所述的视频处理方法， 其特征在于， 所述从所述音频数据中确定 与所述目标对象匹配的目标音频片段， 包括： 将所述音频 数据转化为文本信息； 从所述文本信息中， 确定包括所述目标对象的关键词的文本 部分； 将所述文本 部分所对应的音频确定为所述目标音频片段。 5.根据权利要求1所述的视频处理方法， 其特征在于， 所述获取待处理视频中的多个视 频帧， 包括： 根据所拍摄对象对所述待处理视频进行划分， 得到至少一个划分片段， 其中不同划分 片段所对应的拍摄对象不同； 从所述至少一个划分片段中分别抽取 预设数量的视频帧， 得到所述多个视频帧。 6.根据权利要求1所述的视频处理方法， 其特征在于， 所述从所述待处理视频中确定包 括所述目标视频帧的目标视频片段， 包括： 获取所述目标对象的图片； 在所述图片与 所述目标视频帧的置信度大于预设值的情况下， 从所述待处理视频中确 定包括所述目标视频帧的目标视频片段。 7.根据权利要求1所述的视频处理方法， 其特征在于， 所述从所述待处理视频中确定包权　利　要　求　书 1/2 页 2 CN 115438223 A 2括所述目标视频帧的目标视频片段， 包括： 根据所述目标视频帧在所述待处理视频中对所述目标对象进行跟踪， 得到所述目标对 象在所述待处 理视频中的起始视 觉位置和结束视 觉位置； 根据所述 起始视觉位置和结束视 觉位置， 确定所述目标视频片段。 8.根据权利要求7所述的视频处理方法， 其特征在于， 所述根据 所述起始视觉位置和结 束视觉位置， 确定所述目标视频片段， 包括： 对所述音频数据进行断句， 确定与 所述起始视觉位置相邻的断句起始点以及与所述结 束视觉位置相邻的断句结束点； 确定所述断句起始点与所述断句结束点之间的目标音频信息； 在所述目标音频信息所对应的视频片段包括所述起始视觉位置和结束视位置的情况 下， 将所述目标音频信息所对应的视频片段确定为所述目标视频片段。 9.一种视频处 理装置， 其特 征在于， 包括： 获取模块， 用于获取待处理视频中的多个视频帧和与所述待处理视频对应的音频数 据； 第一确定模块， 用于从所述多个视频帧中， 通过图文匹配模型确定包括目标对象的目 标视频帧； 第二确定模块， 从所述音频 数据中确定与所述目标对象匹配的目标音频片段； 第三确定模块， 用于在所述目标音频片段所对应视频中包括所述目标视频帧的情况 下， 从所述待处 理视频中确定包括所述目标视频帧的目标视频片段。 10.一种电子设备， 其特征在于， 包括处理器， 存储器及存储在所述存储器上并可在所 述处理器上运行的程序或指令， 所述程序或指令被所述处理器执行时实现如权利要求1 ‑8 任一项所述的视频处 理方法的步骤。 11.一种可读存储介质， 其特征在于， 所述可读存储介质上存储程序或指令， 所述程序 或指令被处 理器执行时实现如权利要求1 ‑8任一项所述的视频处 理方法的步骤。权　利　要　求　书 2/2 页 3 CN 115438223 A 3