(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211152979.5 (22)申请日 2022.09.21 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 张智勐　丁彧　许健　刘思彦　 宋林海　赵增　刘杨　吕唐杰　 范长杰　胡志鹏　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 荣颖佳 (51)Int.Cl. G06T 13/20(2011.01) G06T 13/40(2011.01) G06T 17/00(2006.01)G06T 7/73(2017.01) G06V 10/80(2022.01) G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 视频处理方法、 装置及电子设备 (57)摘要 本发明提供了一种视频处理方法、 装置及电 子设备， 涉及影像处理的技术领域， 该方法包括： 获取待合成语音数据以及目标对象的视频数据； 提取待合成语音数据包含的语音帧， 以及， 按照 视频帧选择策略从视频数据中提取与语音帧对 应的视频帧； 将语音帧的口型参数与视频帧的脸 部特征参数和姿态参数进行融合处理， 生成视频 帧对应的目标帧； 基于目标帧输出所述视频数据 对应的目标影像。 本发明提供的视频处理方法、 装置及电子设备， 可以实现对视频数据的流式处 理， 实时地合 成目标影像， 并且， 合成过程参考了 视频帧的脸部特征参数和姿态 参数， 可以使目标 影像中包含有全身的动作， 使得最终合成的目标 影像更像生动逼真。 权利要求书2页 说明书9页 附图5页 CN 115546359 A 2022.12.30 CN 115546359 A 1.一种视频处 理方法， 其特 征在于， 包括： 获取待合成语音数据以及目标对象的视频 数据； 提取所述待合成语音数据包含的语音帧， 以及， 按照预先设置的视频帧选择策略从所 述视频数据中提取与所述语音帧对应的视频帧； 将所述语音帧的口型参数与 所述视频帧的脸部特征参数和姿态参数进行融合处理， 生 成所述视频帧对应的目标帧； 基于所述目标帧输出 所述视频 数据对应的目标影 像。 2.根据权利要求1所述的方法， 其特征在于， 按照预先设置的视频帧选择策略从所述视 频数据中提取与所述语音帧对应的视频帧的步骤， 包括： 检测所述语音帧的帧状态； 基于所述帧状态， 按照预先设置的所述视频帧选择策略从所述视频数据中逐帧提取与 所述语音帧对应的视频帧。 3.根据权利要求2所述的方法， 其特征在于， 所述帧状态包括静音状态或者说话状态中 的任意一种； 基于所述帧状态， 按照预先设置的所述视频帧选择策略从所述视频数据中逐帧提取与 所述语音帧对应的视频帧的步骤， 包括： 如果所述语音帧的帧状态是说话状态， 则将所述视频数据中的当前帧确定为所述语音 帧对应的视频帧； 如果所述语音帧的帧状态是静音状态， 则 选择所述视频数据中距离当前视频帧最近的 标记有静音标签的视频帧作为所述语音帧对应的视频帧。 4.根据权利要求1所述的方法， 其特征在于， 将所述语音帧的口型参数与所述视频帧的 脸部特征参数和姿态参数进行融合处 理， 生成所述视频帧对应的目标帧的步骤， 包括： 基于所述语音帧的口型参数、 所述视频帧的脸部特征参数和姿态参数生成所述视频帧 对应的预合成图像； 对所述预合成图像进行融合处 理， 生成所述视频帧对应的目标帧。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述语音帧的口型参数、 所述视 频帧的脸部特 征参数和姿态参数生成所述视频帧对应的预合成图像的步骤， 包括： 将所述语音帧的口型参数、 所述视频帧的脸部特征参数和姿态参数作用于预先建立的 初始三维人脸模型， 得到三维人脸形变模型； 将所述三维人脸形变模型的面部关键点投影到所述视频帧， 得到所述视频帧对应的预 合成图像。 6.根据权利要求4所述的方法， 其特征在于， 对所述预合成图像进行融合处理， 生成所 述视频帧对应的目标帧的步骤， 包括： 将所述预合成图像输入至预先建立的图像合成卷积神经网络， 通过所述图像合成卷积 神经网络对所述预合成图像进行融合处 理， 得到所述视频帧对应的目标帧； 其中， 所述图像合成卷积神经网络为预 先训练好的U型 卷积神经网络模型。 7.根据权利要求1所述的方法， 其特征在于， 获取待合成语音数据之后， 所述方法还包 括： 将所述待合成语音数据输入至预先训练好的口型参数模型中， 通过所述口型参数模型权　利　要　求　书 1/2 页 2 CN 115546359 A 2输出所述待合成语音数据对应的 口型参数； 其中， 所述口型参数模型为预先训练好的一维卷积神经网络模型， 且， 所述一维卷积神 经网络模型通过 学习输入语音到口型参数的映射关系的数据集得到的。 8.根据权利要求1所述的方法， 其特征在于， 所述目标对象的视频数据为在预设背景下 录制的视频 数据； 生成所述视频帧对应的目标帧之后， 所述方法还 包括： 对所述目标帧进行去 背景处理， 得到所述目标帧对应的去 背景目标帧。 9.一种视频处 理装置， 其特 征在于， 包括： 获取模块， 用于获取待合成语音数据以及目标对象的视频 数据； 提取模块， 用于提取所述待合成语音数据包含的语音帧， 以及， 按照预先设置的视频帧 选择策略从所述视频 数据中提取与所述语音帧对应的视频帧； 融合模块， 用于将所述语音帧的口型参数与所述视频帧的脸部特征参数和姿态参数进 行融合处 理， 生成所述视频帧对应的目标帧； 输出模块， 用于基于所述目标帧输出 所述视频 数据对应的目标影 像。 10.一种电子设备， 其特征在于， 包括存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现上述权利要求1 ‑8 任一项所述的方法的步骤。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质上存储有计算机 程序， 所述计算机程序被处 理器运行时执 行上述权利要求1 ‑8任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115546359 A 3