(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202211290001.5
(22)申请日 2022.10.21
(71)申请人 北京百度网讯科技有限公司
地址 100085 北京市海淀区上地十街10号
百度大厦2层
(72)发明人 徐志良 梁柏荣 周航 陈睿智
何栋梁 刘经拓
(74)专利代理 机构 中科专利商标代理有限责任
公司 11021
专利代理师 李世阳
(51)Int.Cl.
G06T 15/04(2011.01)
G06T 17/00(2006.01)
G06T 19/20(2011.01)
(54)发明名称
虚拟形象处理方法、 装置、 电子设备和存储
介质
(57)摘要
本公开提供了一种虚拟形象处理方法, 涉及
人工智能技术领域, 尤其涉及增强现实、 虚拟现
实、 计算机视觉、 深度学习等技术领域, 可应用于
虚拟数字人和元宇宙等场景下。 具体实现方案
为: 根据目标图像和第一拓扑, 得到与目标图像
对应的第一中间拓扑, 其中, 第一中间拓扑包括
多个第一关键点; 将第二拓扑的多个第二关键点
与第一中间拓扑的多个第一关键点对齐, 得到目
标拓扑; 根据第一中间拓扑的至少一个第一纹理
基底和目标拓扑, 得到目标虚拟形象; 以及根据
第二拓扑的预设驱动参数, 控制目标虚拟形象执
行第一动作。 本公开还提供了一种虚拟形象处理
装置、 电子设备和存 储介质。
权利要求书4页 说明书11页 附图5页
CN 115359171 A
2022.11.18
CN 115359171 A
1.一种虚拟形象处 理方法, 包括:
根据目标图像和第一拓扑, 得到与所述目标图像对应的第 一中间拓扑, 其中, 所述第一
中间拓扑包括多个第一关键点;
将第二拓扑的多个第 二关键点与 所述第一中间拓扑的多个所述第 一关键点对齐, 得到
目标拓扑;
根据所述第一中间拓扑的至少一个第一纹理基底和所述目标拓扑, 得到目标虚拟形
象; 以及
根据所述第二拓扑的预设驱动参数, 控制所述目标虚拟形象执 行第一动作。
2.根据权利要求1所述的方法, 其中, 所述根据目标图像和第一拓扑, 得到与所述目标
图像对应的第一中间拓扑包括:
确定所述第一拓扑的多个初始基底, 其中, 多个所述初始基底包括至少一个初始形状
基底和至少一个初始纹 理基底;
将所述第一拓扑映射至所述目标图像所处的目标坐标系, 得到映射图像;
确定所述映射图像和所述目标图像之间的差异值; 以及
调整多个所述初始基底中的至少一个所述初始基底, 使得所述差异值收敛, 得到所述
第一中间拓扑, 其中, 所述第一中间拓扑包括至少一个第一形状基底和至少一个所述第一
纹理基底。
3.根据权利要求2所述的方法, 其中, 所述调整多个所述初始基底中的至少一个初始基
底包括:
调整多个所述初始基底中至少一个所述初始基底的参数, 以降低所述差异值。
4.根据权利要求2所述的方法, 其中, 所述调整多个所述初始基底中的至少一个所述初
始基底包括:
利用来自于多个预设基底中至少一个所述预设基底替换多个所述初始基底中至少一
个所述初始基底, 以降低所述差异值。
5.根据权利要求2所述的方法, 其中, 所述差异值包括多个第一差异值,
所述映射图像包括多个第三关键点, 所述目标图像包括多个目标关键点, 所述第三关
键点对应一个所述目标关键点,
所述确定所述映射图像和所述目标图像之间的差异值包括:
将所述第三关键点对应的目标关键点和所述第三关键点之间的距离值确定为所述第
一差异值。
6.根据权利要求2所述的方法, 其中, 所述差异值包括第二差异值,
所述确定所述映射图像和所述目标图像之间的差异值包括:
根据预设损失函数, 确定所述映射图像和所述目标图像之间的所述第二差异值。
7.根据权利要求2所述的方法, 其中, 所述调整多个所述初始基底中的至少一个所述初
始基底, 使得 所述差异值收敛, 得到所述第一中间拓扑包括:
响应于确定所述差异值收敛, 将与收敛的差异值对应的调整后第 一拓扑确定为待处理
拓扑; 以及
根据来自于预设虚拟形象的预设轮廓信息, 对所述待处理拓扑的轮廓信息进行插值,
得到所述第一中间拓扑。权 利 要 求 书 1/4 页
2
CN 115359171 A
28.根据权利要求1所述的方法, 其中, 所述根据所述第 一中间拓扑的至少一个第 一纹理
基底和所述目标拓扑, 得到目标虚拟形象包括:
利用纹理生成模型处理至少一个所述第一纹理基底, 得到至少一个第二纹理基底; 以
及
将至少一个所述第二纹 理基底与所述目标拓扑融合, 得到所述目标虚拟形象。
9.根据权利要求1所述的方法, 其中, 所述根据所述第 一中间拓扑的至少一个第 一纹理
基底和所述目标拓扑, 得到目标虚拟形象包括:
从多个预设纹理基底中确定出至少一个第三纹理基底, 其中, 所述第三纹理基底的类
别与一个所述第一纹 理基底的类别一 致; 以及
将至少一个所述第三纹 理基底与所述目标拓扑融合, 得到所述目标虚拟形象。
10.根据权利要求1所述的方法, 其中, 所述第一关键点对应一个所述第二关键点,
所述将第二拓扑的多个第 二关键点与所述第 一中间拓扑的多个所述第 一关键点对齐,
得到目标拓扑包括:
将所述第一关键点对应的第 二关键点和所述第 一关键点对齐, 使得所述第 二拓扑转换
为第二中间拓扑; 以及
对所述第二中间拓扑进行平 滑处理, 得到所述目标拓扑。
11.根据权利要求1所述的方法, 其中, 所述根据所述第 二拓扑的预设驱动 参数, 控制所
述目标虚拟形象执 行第一动作包括:
确定所述第二拓扑的多个三角面片与所述目标拓扑的多个三角面片之间的映射关系;
根据所述映射关系, 将所述预设驱动参数转换为所述目标虚拟形象的第一驱动参数;
以及
利用所述第一驱动参数控制所述目标虚拟形象执 行所述第一动作。
12.根据权利要求11所述的方法, 其中, 所述根据所述第二拓扑的预设驱动参数, 控制
所述目标虚拟形象执 行第一动作还 包括:
根据所述目标图像中目标对象的第 一附属元素, 从多个预设附属元素中确定所述目标
虚拟形象的第二附属元 素; 以及
根据所述第 二附属元素的位置信 息和所述第 一驱动参数, 确定所述第 二附属元素的第
二驱动参数, 其中, 所述第二驱动参数用于控制所述第二附属元素执行与所述第一动作相
应的第二动作。
13.根据权利要求1 1所述的方法, 还 包括:
获取输入的第三驱动参数; 以及
利用所述第 三驱动参数调整所述第 一驱动参数, 以便控制所述目标虚拟形 象执行调整
后的第一动作。
14.根据权利要求1所述的方法, 其中, 所述第一拓扑的多个三角面片与所述第二拓扑
的多个三角面片一 一对齐。
15.根据权利要求1所述的方法, 其中, 所述目标图像包括目标对象的面部 。
16.一种虚拟形象处 理装置, 包括:
第一获得模块, 用于根据目标图像和第一拓扑, 得到与所述目标图像对应的第一中间
拓扑, 其中, 所述第一中间拓扑包括多个第一关键点;权 利 要 求 书 2/4 页
3
CN 115359171 A
3
专利 虚拟形象处理方法、装置、电子设备和存储介质
文档预览
中文文档
21 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共21页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 11:36:33上传分享