(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116815.7 (22)申请日 2022.09.14 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 邹航　刘巧俏　张琦　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 模型的训练方法、 训练装置、 电子设备和可 读存储介质 (57)摘要 本公开提供了一种模 型的训练方法、 训练装 置、 电子设备和可读存储介质， 涉及机器学习技 术领域。 其中， 人脸三维构建模型的训练方法包 括： 获取多项编码信息， 多项编码信息包括基于 图像采集设备获取到的光线的方向编码和采样 编码， 以及采集到的人脸形状编码和人脸外观编 码； 基于多项编码信息进行网络模型的模型训 练， 并使网络模型输出多角度人脸训练特征； 基 于多角度人脸训练特征和待重建人脸二维图像 计算网络模 型的模型损失； 将模 型损失输入网络 模型进行反向传播， 以迭代更新网络模型的模型 参数， 直至网络模型收敛， 得到人脸三维构建模 型。 通过本公开的技术方案， 在降低方案实施成 本的同时， 保证了三维重构操作的实用性与可靠 性。 权利要求书2页 说明书12页 附图6页 CN 115439610 A 2022.12.06 CN 115439610 A 1.一种人脸 三维构建模型的训练方法， 其特 征在于， 包括： 获取多项编码信 息， 所述多项编码信 息包括基于图像采集设备获取到的光线的方向编 码和采样编码， 以及采集到的人脸形状编码和人脸外观编码； 基于所述多项编码信 息进行网络模型的模型训练， 并使所述网络模型输出多角度 人脸 训练特征； 基于所述多角度人脸训练特 征和待重建人脸 二维图像 计算所述网络模型的模型损失； 将所述模型损失输入所述网络模型进行反向传播， 以迭代更新所述网络模型的模型参 数， 直至所述网络模型收敛， 得到所述人脸 三维构建模型。 2.根据权利要求1所述的人脸三维构建模型的训练方法， 其特征在于， 所述获取多项编 码信息包括： 获取所述图像采集设备的位姿信息； 基于光线投射算法对所述位姿信 息进行体绘制处理， 生成所述图像采集设备基于所述 位姿信息采集到的光线的所述方向编码和所述采样编码； 基于对标准高斯分布进行随机采样 获取所述人脸形状编码和所述人脸外观编码， 以结 合所述方向编码和所述采样编码得到所述多 项编码信息 。 3.根据权利要求2所述的人脸三维构建模型的训练方法， 其特征在于， 所述网络模型包 括第一网络和第二网络， 所述基于所述多 项编码信息进行网络模型的模型训练包括： 基于所述多项编码信息进行所述第一网络的训练， 得到生成式神经特征场模块， 所述 生成式神经特征场模块用于基于所述多项编码信息生成场景图像， 并输出所述场景图像的 张量信息， 所述张量信息包括体素密度张量和特 征张量； 基于所述张量信息进行所述第二网络的训练， 得到神经渲染模块， 所述神经渲染模块 用于将所述体素密度张量和所述特征张量映射上采样到合成的多角度人脸图像， 以将所述 多角度人脸图像和所述特 征张量确定为所述多角度人脸训练特 征。 4.根据权利要求3所述的人脸三维构建模型的训练方法， 其特征在于， 所述第 一网络基 于全连接网络构建。 5.根据权利要求3所述的人脸三维构建模型的训练方法， 其特征在于， 所述第 二网络基 于全连接网络构建。 6.根据权利要求3所述的人脸三维构建模型的训练方法， 其特征在于， 所述基于所述多 角度人脸训练特 征和待重建人脸 二维图像 计算所述网络模型的模型损失包括： 将所述多角度 人脸图像和所述待重建人脸二维图像输入鉴别器， 以基于所述鉴别器对 所述多角度人脸图像和所述待重建人脸二维图像进行判别， 基于判别结果得到第一损失 值； 基于第一编码器对所述特 征张量进行编码， 生成第一特 征图； 基于第二编码器对所述待重建人脸二维图像进行特征提取， 生成第二特征图， 以基于 所述第二特 征图对所述待重建人脸 二维图像的身份信息进行约束； 度量所述第一特 征图和所述第二特 征图之间的损失， 得到第二损失值； 基于所述第一损失值和所述第二损失值得到所述网络模型的模型损失。 7.根据权利要求6所述的人脸 三维构建模型的训练方法， 其特 征在于， 还 包括： 基于VGG‑16网络和/或ResNet网络构建所述 鉴别器。权　利　要　求　书 1/2 页 2 CN 115439610 A 28.根据权利要求6所述的人脸 三维构建模型的训练方法， 其特 征在于， 还 包括： 基于VGG‑16网络和/或ResNet网络构建所述第一编码器。 9.根据权利要求6所述的人脸 三维构建模型的训练方法， 其特 征在于， 基于人脸数据集对网络VGG ‑16和/或Light ‑CNN网络进行预训练， 得到所述第二编码 器。 10.根据权利要求6所述的人脸三维构建模型的训练方法， 其特征在于， 所述基于比较 结果得到第一损失值包括： 将所述判别结果输入GAN损失函数， 并输出 所述第一损失值。 11.根据权利要求6所述的人脸三维构建模型的训练方法， 其特征在于， 所述对所述第 一特征图和所述第二特 征图进行损失度量， 得到第二损失值包括： 基于均方损失函数对所述第 一特征图和所述第 二特征图进行损失度量， 得到所述第 二 损失值。 12.根据权利要求1至11中任一项所述的人脸三维构建模型的训练方法， 其特征在于， 还包括： 将所述待重建人脸二维图像输入所述人脸三维构建模型， 以由所述人脸三维构建模型 中的神经渲 染模块学习所述待重建人脸二维图像的 隐式三维结构 输出， 并输出对应的三 维 人脸结构。 13.一种人脸 三维构建模型的训练装置， 其特 征在于， 包括： 获取模块， 用于获取多项编码信息， 所述多项编码信息包括基于 图像采集设备获取到 的光线的方向编码和采样编码， 以及采集到的人脸形状编码和人脸外观编码； 模型训练模块， 用于基于所述多项编码信息进行网络模型的模型训练， 并使所述网络 模型输出多角度人脸训练特 征； 计算模块， 用于基于所述多角度人脸训练特征和待重建人脸二维图像计算所述网络模 型的模型损失； 迭代更新模块， 用于将所述模型损 失输入所述网络模型进行反向传播， 以迭代更新所 述网络模型的模型参数， 直至所述网络模型收敛， 得到所述人脸 三维构建模型。 14.一种电子设备， 其特 征在于， 包括： 处理器； 以及 存储器， 用于存 储所述处 理器的可 执行指令； 其中， 所述处理器配置为经由执行所述可执行指令来执行权利要求1～12中任意一项 所述的人脸 三维构建模型的训练方法。 15.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1～12中任意 一项所述的人脸 三维构建模型的训练方法。权　利　要　求　书 2/2 页 3 CN 115439610 A 3