(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210665860.1 (22)申请日 2022.06.14 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 李志航　刘锦龙　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. H04N 21/44(2011.01) H04N 21/4402(2011.01) G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 视频生成方法、 装置、 电子设备及存 储介质 (57)摘要 本公开关于一种视频生成方法、 装置、 电子 设备及存储介质， 涉及视频处理技术领域。 本公 开能够实现对 换脸后视频动作的控制， 提高换脸 后视频的真实性。 该方法包括： 获取待处理视频； 待处理视频包括多个待处理图像帧， 各待处理图 像帧包括第一用户； 从多个待处理图像帧中确定 第一用户的多个动作特征； 将多个特征对输入预 先训练得到的图像合成模型， 得到包括第二用户 的多个目标图像帧； 各特征对包括多个动作特征 中的一个动作特征和第二用户的身份特征， 图像 合成模型用于将输入的动作特征以及身份特征 进行融合； 将多个目标图像帧合并， 生成目标视 频。 权利要求书2页 说明书14页 附图5页 CN 115065863 A 2022.09.16 CN 115065863 A 1.一种视频生成方法， 其特 征在于， 所述方法包括： 获取待处理视频； 所述待处理视频包括多个待处理图像帧， 各所述待处理图像帧包括 第一用户； 从所述多个待处理图像帧中确定所述第 一用户的多个动作特征； 所述多个待处理图像 帧与所述多个动作特 征一一对应； 将多个特征对输入预先训练得到的图像合成模型， 得到包括第 二用户的多个目标图像 帧； 各所述特征对包括所述多个动作特征中的一个动作特征和所述第二用户的身份特征， 所述图像合成模型用于将输入的动作特 征以及身份特 征进行融合； 将所述多个目标图像帧合并， 生成目标视频。 2.根据权利要求1所述的视频生成方法， 其特 征在于， 所述方法还 包括： 获取样本视频以及样本用户的样本身份特征； 所述样本视频包括第 一样本图像帧 以及 第二样本图像帧； 基于所述特征提取模型， 分别确定所述第 一样本图像帧中的第 一样本动作 特征以及所 述第二样本图像帧中的第二样本动作特 征； 将所述样本身份特征以及所述第 一样本动作特征输入第 一神经网络 中， 输出第 一融合 图像帧， 以及， 将所述样本身份特征以及所述第二样本动作特征输入 所述第一神经网络中， 输出第二融合图像帧； 所述第一神经网络用于将输入的动作特 征以及身份特 征进行融合； 确定所述第一神经网络的输出图像帧的真实度， 以及所述第一神经网络的融合差异 度； 所述输出图像 帧包括所述第一融合图像 帧和所述第二融合图像 帧， 所述真实度用于表 征所述第一融合图像帧和所述第二融合图像帧为真实图像帧的概率， 所述融合差异度用于 表征所述第一神经网络 输入的动作特 征与输出的融合图像帧的动作特 征之间的差异程度； 根据所述真实度和所述融合差异度， 对所述第一神经网络进行训练， 得到所述图像合 成模型。 3.根据权利要求2所述的视频生成方法， 其特征在于， 确定所述第 一神经网络的输出图 像帧的真实度， 包括： 将所述第一融合图像帧与 所述第二融合图像帧输入预先训练得到的判别模型， 输出所 述第一融合图像帧与所述第二融合图像帧为真实图像帧的概率， 并将输出的概率确定为所 述真实度。 4.根据权利要求3所述的视频生成方法， 其特 征在于， 所述方法还 包括： 将包括两个图像帧的判别样本对输入第 二神经网络 中， 输出所述两个图像帧为真实图 像帧的样本概率； 所述判别样本对包括所述第一融合图像 帧和所述第二融合图像 帧， 或者 所述判别样本对 包括所述第一样本图像帧和所述第二样本图像帧； 在所述样本概率满足第一约束条件的情况下， 确定训练完成， 并将所述第二神经网络 确定为所述判别模型； 在所述样本概率不满足所述第一约束条件的情况下， 调整所述第二神经网络的参数， 对所述第二神经网络进行迭代训练， 直至所述样本概 率满足所述第一约束条件为止； 其中， 在所述判别样本对包括所述第一融合图像帧和所述第二融合图像帧的情况下， 所述第一约束条件包括： 所述样本概率小于第一预设阈值； 在所述判别样本对包括所述第 一样本图像 帧和所述第二样本图像 帧的情况下， 所述第一约束条件包括： 所述样本概率大权　利　要　求　书 1/2 页 2 CN 115065863 A 2于第二预设阈值。 5.根据权利要求2所述的视频生成方法， 其特征在于， 确定所述第 一神经网络的融合差 异度， 包括： 基于所述特征提取模型， 分别确定所述第 一融合图像帧中的动作特征以及所述第 二融 合图像帧中的动作特 征； 将所述第一融合图像帧中的动作特征与所述第一样本动作特征之间的距离确定为第 一融合差异度； 将所述第二融合图像帧中的动作特征与所述第二样本动作特征之间的距离确定为第 二融合差异度； 根据所述第一融合差异度与所述第二融合差异度， 确定为所述融合差异度。 6.根据权利要求2 ‑5中任一项所述的视频生成方法， 其特征在于， 所述根据所述真实度 和所述融合差异度， 对所述第一神经网络进行训练， 得到所述图像合成模型， 包括： 在所述真实度与所述融合差异度满足第二约束条件的情况下， 确定训练完成， 并将所 述第一神经网络确定位所述图像合成模型； 在所述真实度与所述融合差异度不满足所述第 二约束条件的情况下， 调整所述第 一神 经网络的参数， 对所述第一神经网络进行迭代训练， 直至所述真实度与所述融合差异度满 足所述第二约束条件为止； 其中， 所述第 二约束条件包括： 所述真实度 大于或者等于第 三预设阈值， 所述融合差异 度小于或者 等于第四预设阈值。 7.一种视频生成装置， 其特 征在于， 包括获取 单元、 确定单 元、 输入单 元以及生成单 元； 所述获取单元， 用于获取待处理视频； 所述待处理视频包括多个待处理图像帧， 各所述 待处理图像帧包括第一用户； 所述确定单元， 用于从所述多个待处理图像帧中确定所述第一用户的多个动作特征； 所述多个待处 理图像帧与所述多个动作特 征一一对应； 所述输入单元， 用于将多个特征对输入预先训练得到的图像合成模型， 得到包括第二 用户的多个目标图像帧； 各所述特征对包括所述多个动作特征中的一个动作特征和所述第 二用户的身份特 征， 所述图像合成模型用于将输入的动作特 征以及身份特 征进行融合； 所述生成单元， 用于将所述多个目标图像帧合并， 生成目标视频。 8.一种电子设备， 其特征在于， 包括： 处理器、 用于存储所述处理器可执行的指令的存 储器； 其中， 所述处理器被配置为执行指令， 以实现所述权利要求1 ‑6中任一项所述的视频 生成方法。 9.一种计算机可读存储介质， 所述计算机可读存储介质上存储有指令， 其特征在于， 当 所述计算机可读存储介质中的指令由电子 设备的处理器执行时， 使得所述电子 设备能够执 行如权利要求1 ‑6中任一项所述的视频生成方法。 10.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机指令， 当所述 计算机指令被处 理器执行时， 实现如权利要求1 ‑6中任一项所述的视频生成方法。权　利　要　求　书 2/2 页 3 CN 115065863 A 3