(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211327163.1 (22)申请日 2022.10.27 (71)申请人 科大讯飞股份有限公司 地址 230088 安徽省合肥市高新 开发区望 江西路666号 (72)发明人 杨硕　何山　殷兵　刘聪　周良　 胡金水　 (74)专利代理 机构 北京布瑞知识产权代理有限 公司 11505 专利代理师 尚文文 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/00(2011.01) G06T 19/20(2011.01) (54)发明名称 重定向方法、 装置、 电子设备和存 储介质 (57)摘要 本申请提出一种重定向方法、 装置、 电子设 备和存储介质， 方法包括基于目标对象的特定部 位图像进行目标对象 的特定部位三维重建， 得到 第一三维模 型， 并确定与目标对象对应的虚拟身 份信息。 其中， 虚拟身份信息能够体现与目标对 象的特定部位对应的虚拟形象的外形轮廓特征。 然后从第一三维模型中提取得到动作信息， 该动 作信息能够体现目标对象的特定部位图像中的 目标对象的特定部位的动作特征。 通过对虚拟身 份信息和动作信息进行融合， 得到携带动作信息 的虚拟形象， 由于虚拟形象所携带的动作信息是 基于目标对象的特定部位的动作特征生成的， 能 够使虚拟形象执行的动作与 目标对象的特定部 位的动作一 致。 权利要求书3页 说明书23页 附图6页 CN 115471618 A 2022.12.13 CN 115471618 A 1.一种重 定向方法， 其特 征在于， 包括： 基于目标对象的特定部位图像进行目标对象的特定部位三维重建， 得到第一三维模 型， 并确定与所述 目标对象对应的虚拟身份信息； 所述虚拟身份信息是体现与所述 目标对 象的特定 部位对应的虚拟形象的外形轮廓特 征的信息； 从所述第一三维模型中提取得到动作信 息； 所述动作信 息是体现所述目标对象的特定 部位图像中的目标对象的特定 部位的动作特 征的信息； 通过对所述虚拟身份信 息和所述动作信 息进行融合， 得到携带所述动作信 息的虚拟形 象。 2.根据权利要求1所述的方法， 其特征在于， 确定与所述目标对象对应的虚拟身份信 息， 包括： 根据目标对象的特定部位图像， 生成与 所述目标对象的特定部位相对应的第 二三维模 型； 所述第二 三维模型 是与所述目标对象的特定 部位相对应的虚拟形象的三维模型； 从所述第二 三维模型中提取虚拟形象的外形轮廓特 征， 得到虚拟身份信息 。 3.根据权利要求1所述的方法， 其特征在于， 从所述第一三维模型中提取得到动作信 息， 包括： 将所述第一三维模型输入预先训练 的第一特征提取网络， 得到所述第 一特征提取网络 从所述第一 三维模型中提取 得到的目标对象的特定 部位的动作信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述第一特征提取网络包括： 第一身份编 码器、 第一动作编码器、 第一编码融合器以及第一 解码器； 所述第一身份编码器， 用于从所述第 一三维模型中提取得到目标对象的特定部位的外 形轮廓特 征， 并对所述外形轮廓特 征进行编码， 得到身份信息； 所述第一动作编码器， 用于从所述第 一三维模型中提取得到目标对象的特定部位的动 作特征， 并对所述动作特 征进行编码， 得到动作信息； 所述第一编码融合器， 用于融合所述身份信息和所述动作信息， 得到第一融合信息； 所述第一 解码器， 用于对所述第一融合信息进行解码处 理， 得到第三 三维模型。 5.根据权利要求2所述的方法， 其特征在于， 从所述第 二三维模型中提取虚拟形 象的外 形轮廓特 征， 得到虚拟身份信息， 包括： 将所述第二三维模型输入预先训练 的第二特征提取网络， 得到所述第 二特征提取网络 从所述第二 三维模型中提取 得到的目标对象的特定 部位对应的虚拟形象的外形轮廓特 征。 6.根据权利要求5所述的方法， 其特征在于， 所述第二特征提取网络包括： 第二身份编 码器、 第二动作编码器、 第二编码融合器以及第二 解码器； 所述第二身份编码器， 用于从所述第 二三维模型中提取得到目标对象的特定部位对应 的虚拟形象的外形轮廓特 征， 并对所述外形轮廓特 征进行编码， 得到虚拟身份信息； 所述第二动作编码器， 用于从所述第 二三维模型中提取得到目标对象的特定部位对应 的虚拟形象的动作特 征， 并对所述动作特 征进行编码， 得到虚拟动作信息； 所述第二编码融合器， 用于融合所述虚拟身份信息和所述虚拟动作信息， 得到第二融 合信息； 所述第二 解码器， 用于对所述第二融合信息进行解码处 理， 得到第四三维模型。 7.根据权利要求1所述的方法， 其特征在于， 通过对所述虚拟身份信 息和所述动作信 息权　利　要　求　书 1/3 页 2 CN 115471618 A 2进行融合， 得到携带 所述动作信息的虚拟形象， 包括： 对所述虚拟身份信息和所述动作信息进行编码融合， 得到融合信息； 对所述融合信息进行解码处 理， 得到携带 所述动作信息的虚拟形象。 8.根据权利要求5所述的方法， 其特征在于， 通过对所述虚拟身份信 息和所述动作信 息 进行融合， 得到携带 所述动作信息的虚拟形象， 包括： 利用所述第二特征提取网络的第二编码融合器对所述虚拟身份信息和所述动作信息 进行融合， 得到融合信息； 利用所述第 二特征提取网络的第 二解码器对所述融合信 息进行解码， 得到携带所述动 作信息的虚拟形象。 9.根据权利要求1所述的方法， 其特征在于， 还包括： 将动作信息转换到与虚拟身份信 息相同的特 征空间。 10.根据权利要求2所述的方法， 其特征在于， 从所述第二三维模型中提取虚拟形象的 外形轮廓特征， 得到虚拟身份信息； 从所述第一三维模型中提取得到动作信息； 通过对所述 虚拟身份信息和所述动作信息进行融合， 得到携带 所述动作信息的虚拟形象， 包括： 将第一三维模型和第 二三维模型分别输入重定向网络， 得到携带所述动作信 息的虚拟 形象； 所述重定向网络包括： 第一特征提取网络、 第二特征提取网络、 特征变换网络、 编码融 合网络以及解码网络； 所述第一特征提取网络， 用于从所述第 一三维模型中提取得到的目标对象的特定部位 的动作信息； 所述第二特征提取网络， 用于从所述第二三维模型中提取虚拟形象的外形轮廓特征， 得到虚拟身份信息； 所述特征变换网络， 用于将动作信息转换到与虚拟身份信息相同的特 征空间； 所述编码融合网络， 用于对所述虚拟身份信息和进行转换后的动作信息进行编码融 合， 得到融合信息； 所述解码网络， 用于对所述融合信息进行解码处理， 得到携带所述动作信息的虚拟形 象。 11.根据权利要求1所述的方法， 其特征在于， 所述特定部位包括面部， 所述动作信 息包 括面部表情信息 。 12.一种重 定向装置， 其特 征在于， 包括： 重建模块， 用于基于目标对象的特定部位图像进行目标对象的特定部位三维重建， 得 到第一三维模型， 并确定与所述 目标对象对应的虚拟身份信息； 所述虚拟身份信息是体现 与所述目标对象的特定 部位对应的虚拟形象的外形轮廓特 征的信息； 提取模块， 用于从所述第一三维模型中提取得到动作信息； 所述动作信息是体现所述 目标对象的特定 部位图像中的目标对象的特定 部位的动作特 征的信息； 融合模块， 用于通过对所述虚拟身份信息和所述动作信息进行融合， 得到携带所述动 作信息的虚拟形象。 13.一种电子设备， 其特 征在于， 包括： 存储器和处 理器；权　利　要　求　书 2/3 页 3 CN 115471618 A 3