(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210601570.0 (22)申请日 2022.05.30 (71)申请人 OPPO广东移动通信有限公司 地址 523860 广东省东莞 市长安镇乌沙海 滨路18号 (72)发明人 王顺飞　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 冯瑶 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 15/02(2011.01) (54)发明名称 虚拟三维人脸生 成方法、 人脸生 成模型的训 练方法及装置 (57)摘要 本申请涉及一种虚拟三 维人脸生 成方法、 人 脸生成模型的训练方法及装置， 属于图像处理技 术领域。 包括： 对参考人脸图像的第一人脸特征 进行语义解析， 得到第一区域语义特征， 所述第 一区域语义特征用于表示所述参考人脸图像的 第一人脸区域的多个部位的语义特征； 基于所述 第一区域语义特征， 确定第一注意力权重特征， 所述第一注意力权重特征用于表示所述第一人 脸区域的多个部位对人脸属性的重要程度； 基于 所述第一区域语义特征和所述第一注意力权重 特征， 确定所述第一人脸区域对应的多个第一人 脸属性类别； 基于所述多个第一人脸属性类别对 应的多个三维人脸素材， 生 成所述参考人脸图像 对应的虚拟三维人脸。 本申请提高了虚拟三维人 脸图像的准确性。 权利要求书4页 说明书18页 附图10页 CN 114998961 A 2022.09.02 CN 114998961 A 1.一种虚拟三维人脸 生成方法， 其特 征在于， 所述方法包括： 对参考人脸图像的第一人脸特征进行语义解析， 得到第一区域语义特征， 所述第一区 域语义特 征用于表示所述 参考人脸图像的第一人脸区域的多个部位的语义特 征； 基于所述第一区域语义特征， 确定第一注意力权重特征， 所述第一注意力权重特征用 于表示所述第一人脸区域的多个部位对人脸属性的重要程度； 基于所述第 一区域语义特征和所述第 一注意力 权重特征， 确定所述第 一人脸区域对应 的多个第一人脸属性类别； 基于所述多个第 一人脸属性类别对应的多个三维人脸素材， 生成所述参考人脸图像对 应的虚拟三维人脸。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一区域语义特征和所述第 一注意力权 重特征， 确定所述第一人脸区域对应的多个第一人脸属性类别， 包括： 将所述第一区域语义特征与所述第一注意力权重特征进行融合， 得到第一融合特征， 所述第一融合特 征中包括所述多个部位对应的区域语义特 征； 基于所述多个部位对应的区域语义特征， 确定所述第 一人脸区域对应的多个第 一人脸 属性类别。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第一区域语义特征， 确定第 一注意力权 重特征， 包括： 对所述第一区域语义特 征进行卷积处理， 得到第二区域语义特 征； 对所述第二区域语义特 征进行通道 注意力处 理， 得到所述第一注意力权 重特征。 4.根据权利要求1所述的方法， 其特征在于， 所述第一区域语义特征、 所述第一注意力 权重特征、 所述多个人脸属 性类别均是通过人脸生成模型确定的； 所述人脸生成模型 的训 练过程， 包括： 获取样本数据， 所述样本数据包括样本人脸图像和所述样本人脸图像的第 二人脸区域 的多个样本人脸属性类别； 对所述样本人脸图像的第二人脸特征进行语义解析， 得到第三区域语义特征， 所述第 三区域语义特 征用于表示所述样本人脸图像的第二人脸区域的多个部位的语义特 征； 基于所述第三区域语义特征， 确定第二注意力权重特征， 所述第二注意力权重特征用 于表示所述第二人脸区域的多个部位对人脸属性的重要程度； 基于所述第 三区域语义特征和所述第 二注意力 权重特征， 确定所述第 二人脸区域对应 的多个第二人脸属性类别； 基于所述多个第 二人脸属性类别和所述多个样本人脸属性类别， 训练得到所述人脸生 成模型。 5.根据权利要求4所述的方法， 其特征在于， 所述基于所述多个第 二人脸属性类别和所 述多个样本人脸属性类别， 训练得到所述人脸 生成模型， 包括： 基于所述第二人脸特 征和所述第三区域语义特 征， 确定第一交叉熵损失值； 基于所述多个第 二人脸属性类别和所述多个样本人脸属性类别， 确定多个第 二交叉熵 损失值； 基于所述第 一交叉熵损失值和所述多个第 二交叉熵损失值， 训练得到所述人脸生成模 型。权　利　要　求　书 1/4 页 2 CN 114998961 A 26.根据权利要求4所述的方法， 其特征在于， 所述基于所述第 二人脸特征和所述第 三区 域语义特 征， 确定第一交叉熵损失值， 包括： 对所述第三区域语义特征进行归一化处理， 得到第 四区域语义特征， 所述第 四区域语 义特征包括多个特 征点的语义特 征值； 基于所述第四区域语义特 征和所述第二人脸特 征， 确定所述第一交叉熵损失值。 7.根据权利要求4所述的方法， 其特征在于， 所述基于所述第 一损失值和所述多个第 二 损失值， 训练得到所述人脸 生成模型， 包括： 确定所述多个第二损失值的平均值； 对所述第一损失值和所述多个第二损失值的平均值进行加权求和， 得到目标损失值； 基于所述目标损 失值， 更新所述人脸生成模型的模型参数， 直到所述人脸模型达到收 敛条件， 得到训练完成的所述人脸 生成模型。 8.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取参考人脸图像； 对所述参考人脸图像进行 数据增强预处 理； 提取预处理后的参 考人脸图像的人脸特 征， 得到所述第一人脸特 征。 9.根据权利要求8所述的方法， 其特征在于， 所述对所述参考人脸图像进行数据增强预 处理包括以下至少一种实现方式： 对所述参考人脸图像进行旋转， 旋转后的参 考人脸图像的人脸方向满足方向要求； 对所述参考人脸图像进行裁剪， 裁剪后的参考人脸图像包括所述第一人脸区域， 且所 述裁剪后的参 考人脸图像的图像尺寸满足尺寸要求； 对所述参考人脸图像进行归一 化处理。 10.一种人脸 生成模型的训练方法， 其特 征在于， 所述方法包括： 获取样本数据， 所述样本数据包括样本人脸图像和所述样本人脸图像的第 二人脸区域 的多个样本人脸属性类别； 对所述样本人脸图像的第二人脸特征进行语义解析， 得到第三区域语义特征， 所述第 三区域语义特 征用于表示所述样本人脸图像的第二人脸区域的多个部位的语义特 征； 基于所述第三区域语义特征， 确定第二注意力权重特征， 所述第二注意力权重特征用 于表示所述第二人脸区域的多个部位对人脸属性的重要程度； 基于所述第 三区域语义特征和所述第 二注意力 权重特征， 确定所述第 二人脸区域对应 的多个第二人脸属性类别； 基于所述多个第 二人脸属性类别和所述多个样本人脸属性类别， 训练得到人脸生成模 型。 11.根据权利要求10所述的方法， 其特征在于， 所述基于所述多个第 二人脸属性类别和 所述多个样本人脸属性类别， 训练得到人脸 生成模型， 包括： 基于所述第二人脸特 征和所述第三区域语义特 征， 确定第一交叉熵损失值； 基于所述多个第 二人脸属性类别和所述多个样本人脸属性类别， 确定多个第 二交叉熵 损失值； 基于所述第 一交叉熵损失值和所述多个第 二交叉熵损失值， 训练得到所述人脸生成模 型。权　利　要　求　书 2/4 页 3 CN 114998961 A 3