(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211124534.6 (22)申请日 2022.09.15 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 唐吉霖　李林橙　范长杰　胡志鹏　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 彭星 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/00(2006.01) G06T 19/00(2011.01) G06N 3/08(2006.01) (54)发明名称 模型训练方法、 视角图像生 成方法、 装置、 设 备及介质 (57)摘要 本申请提供一种模型训练方法、 视角图像生 成方法、 装置、 设备及介质， 涉及图像处理技术领 域。 该模型训练方法包括： 获取预设三维场景中 在预设目标视角下的样本预设二维图像以及多 个预设源视角下的多个样本源视角图像， 然后， 获取在预设目标视角下每个空间采样点的多个 原始投影像素坐标以及多个原始投影图像特征。 再根据每个空间采样点的多个原始投影像素坐 标以及多个样本源视角图像， 生 成每个空间采样 点的多个新的投影像素坐标以及多个新的投影 图像特征， 进而生成每个空间采样点在多个预设 源视角下的目标投影图像特征、 预设三维场景中 在预设目标视角下的样本目标二维图像； 最后进 行模型训练， 生成视角图像生成模型。 权利要求书3页 说明书15页 附图3页 CN 115409949 A 2022.11.29 CN 115409949 A 1.一种模型训练方法， 其特 征在于， 包括： 获取预设三维场景中在预设目标视角下的样本预设二维图像以及多个预设源视角下 的多个样本源视角图像； 获取在所述预设目标视角下每个空间采样点的多个原始投影像素坐标以及多个原始 投影图像特征， 其中， 所述多个原始投影像素坐标分别对应所述多个预设源视角， 所述多个 原始投影图像特征为所述多个样本源视角图像中所述多个原始投影像素坐标处的图像特 征； 根据所述每个空间采样点的所述多个原始投影像素坐标以及所述多个样本源视角图 像， 生成所述每个空间采样点的多个新的投影像素坐标以及多个新的投影图像特征， 其中， 所述多个新的投影像素坐标对应所述多个预设源视角， 所述多个新的投影图像特征为所述 多个样本源视角图像中多个新的二维投影 像素坐标处的图像特 征； 根据所述多个原始 投影图像特征和所述多个新的投影图像特征， 生成所述每个空间采 样点在所述多个预设源视角下的目标投影图像特 征； 根据多个空间采样点在所述多个预设源视角下的目标投影图像特征， 生成所述预设三 维场景中在所述预设目标视角下的样本目标二维图像； 根据所述预设三维场景中在所述预设目标视角下的样本目标二维图像以及所述预设 目标视角下的样本预设二维图像进行模型训练， 生成视角图像生成模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述每个空间采样点的所述多个 原始投影像素坐标以及所述多个样本源视角图像， 生成所述每个空间采样点的多个新的二 维投影像素坐标以及多个新的投影图像特 征， 包括： 根据所述每个空间采样点的所述多个原始 投影像素坐标， 生成所述每个空间采样点的 所述多个新的二维投影 像素坐标； 根据所述多个样本源视角图像， 以及所述多个新的二维投影像素坐标， 生成所述多个 新的投影图像特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述每个空间采样点的所述多个 原始投影像素坐标， 生成所述每 个空间采样点的所述多个新的二维投影 像素坐标， 包括： 根据所述每个空间采样点所述多个原始 投影图像特征， 生成所述每个空间采样点的多 个二维坐标偏移量， 所述多个二维坐标偏移量分别对应所述多个预设源视角； 根据所述多个原始 投影像素坐标以及所述多个二维坐标偏移量， 生成所述每个空间采 样点的所述多个新的二维投影 像素坐标。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述每个空间采样点所述多个原 始投影图像特 征， 生成所述每 个空间采样点的多个二维坐标偏移量， 包括： 对所述每个空间采样点的所述多个原始 投影图像特征进行特征聚合， 生成所述每个空 间采样点的原 始聚合特 征； 根据所述每个空间采样点的原始聚合特征和所述多个原始 投影图像特征， 生成所述每 个空间采样点的多个二维坐标偏移量。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述每个空间采样点的原始聚合 特征和所述多个原始投影图像特征， 生成所述每个空间采样点的多个二维坐标偏移量， 包 括：权　利　要　求　书 1/3 页 2 CN 115409949 A 2根据所述每个空间采样点的原始聚合特征和所述多个原始 投影图像特征， 生成所述每 个空间采样点的多个特 征差， 所述多个特 征差对应所述多个预设源视角； 对所述多个特 征差进行映射， 生成所述多个二维坐标偏移量。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述多个原始 投影图像特征和所 述多个新的投影图像特征， 生成所述每个空间采样点在所述多个预设源视角下的目标投影 图像特征， 包括： 从所述多个新的投影图像特 征中确定 至少一个新的投影图像特 征； 根据所述多个原始 投影图像特征和所述至少一个新的投影图像特征， 生成所述每个空 间采样点在所述多个预设源视角下的目标投影图像特 征。 7.根据权利要求1所述的方法， 其特征在于， 所述根据多个空间采样点在所述多个预设 源视角下的目标 投影图像特征， 生成所述预设三 维场景中在所述预设目标视角下的样本目 标二维图像， 包括： 对所述每个空间采样点在所述多个预设源视角下的目标投影图像特征进行特征聚合， 生成所述每 个空间采样点的目标聚合特 征； 根据所述多个空间采样点的目标聚合特征， 生成所述预设三维场景中在所述预设目标 视角下的样本目标二维图像。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述多个空间采样点的目标聚合 特征， 生成所述预设三维场景中在所述预设目标视角下的样本目标二维图像， 包括： 根据所述多个空间采样点的目标聚合特征， 确定所述多个空间采样点对应的渲染参 数； 根据所述多个空间采样点对应的渲染参数进行图像渲染， 生成所述样本目标二维图 像。 9.根据权利要求1所述的方法， 其特征在于， 所述多个预设源视角为： 与所述预设目标 视角的视角偏差在预设视角偏差范围内的多个不同视角。 10.根据权利要求1所述的方法， 其特征在于， 所述获取在所述预设目标视角下每个空 间采样点的多个原 始投影像素坐标以及多个原 始投影图像特 征， 包括： 根据所述预设目标视角以及所述多个样本源视角图像， 获取所述多个原始 投影像素坐 标以及所述多个原 始投影图像特 征。 11.一种视角图像生成方法， 其特 征在于， 包括： 获取预设三维场景中在多个源视角下的多个源视角图像； 根据所述多个源视角图像和目标视角， 采用预先训练的视角图像生成模型， 生成所述 预设三维场景中在所述 目标视角下 的目标二维 图像， 其中， 所述视角图像生成模型为采用 上述权利要求1 ‑10任一所述模型训练方法训练得到的模型。 12.一种模型训练装置， 其特 征在于， 包括： 获取模块， 用于获取预设三维场景中在预设目标视角下的样本预设二维图像以及多个 预设源视角下的多个样本源视角图像； 原始图像特征生成模块， 用于获取在所述预设目标视角下每个空间采样点的多个原始 投影像素坐标以及多个原始投影图像特征， 其中， 所述多个原始投影像素坐标分别对应所 述多个预设源视角， 所述多个原始投影图像特征为所述多个样本源视角图像中所述多个原权　利　要　求　书 2/3 页 3 CN 115409949 A 3