(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210605347.3 (22)申请日 2022.05.30 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区海淀北一 街2号 10层、 11层 (72)发明人 吴佳涛　 (74)专利代理 机构 北京华夏泰和知识产权代理 有限公司 1 1662 专利代理师 田然 (51)Int.Cl. G06T 3/00(2006.01) G06T 5/50(2006.01) G06T 9/00(2006.01) G06T 11/00(2006.01) G06V 10/26(2022.01)G06V 10/40(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/10(2022.01) G06N 3/04(2006.01) (54)发明名称 虚拟试装系统、 方法、 设备及计算机可读介 质 (57)摘要 本申请涉及一种虚拟试装系统、 方法、 设备 及计算机 可读介质。 该系统包括： 变形分割单元， 用于提取目标对象的人体特征和目标着装的着 装特征， 并将人体特征和着装特征融合后， 基于 对融合特征的多级校正生成与 目标对象的外形 匹配的目标着装的着装分割图像； 着装变换单 元， 用于将目标着装按照着装分割图像进行变 换， 得到目标着装的着 装变换图像； 试装 单元， 用 于按照着装分割图像对目标对象进行分割后， 将 着装变换图像拟合至分割区域， 得到目标对象对 目标着装的试装图像。 本申请融合目标对象 的人 体特征和目标着装的着装特征， 直接预测输出与 目标对象外形匹配的变形后的着装分割图像， 解 决了由于累积误差导致虚拟试穿结果不准确的 技术问题。 权利要求书5页 说明书15页 附图6页 CN 115049536 A 2022.09.13 CN 115049536 A 1.一种虚拟试装系统， 其特 征在于， 包括： 变形分割单元， 用于提取目标对象的人体特征和目标着装的着装特征， 并将所述人体 特征和所述着装特征融合后， 基于对融合特征的多级校正生成与所述目标对象的外形匹配 的所述目标着装的着装分割图像； 着装变换单元， 用于将所述目标着装按照所述着装分割图像进行变换， 得到所述目标 着装的着装变换图像； 试装单元， 用于按照所述着装分割图像对所述目标对象进行分割后， 将所述着装变换 图像拟合至分割区域， 得到所述目标对象对所述目标着装的试装图像。 2.根据权利要求1所述的系统， 其特 征在于， 所述变形分割单 元包括： 第一特征提取网络， 用于利用所述目标着装的图像提取所述目标着装的所述着装特 征； 第二特征提取网络， 用于利用所述目标对象的预设分割图和预设关键点图来提取所述 目标对象的所述人体特征， 其中， 所述预设分割图为预先对所述 目标对象的各个部位逐一 单独识别并分割所 得到的图像， 所述预设 关键点图用于标记人体关键点； 第一特征解码网络， 用于 融合所述第 一特征提取网络的各卷积层输出的所述着装特征 和所述第二特征提取网络的各卷积层输出的所述人体特征， 并贯穿融合过程对融合特征进 行上采样解码， 得到基础着装分割图像； 多级校正网络， 用于对所述基础着装分割图像进行多级校正， 得到最终的所述着装分 割图像。 3.根据权利要求2所述的系统， 其特征在于， 所述多级校正网络包括多个结构相同且串 联设置的子校正网络； 其中， 第一个所述子校正网络的输入 包括： 所述基础着装分割图像； 剩余每个所述子校正网络的输入包括： 所述基础着装分割图像和前一个所述子校正网 络输出的中间校正图像； 最后一个所述子校正网络 输出的中间校正图像为 最终的所述着装分割图像。 4.根据权利要求3所述的系统， 其特 征在于， 所述子校正网络包括： 第一特征编码网络， 包括多个卷积层和多个下采样层， 所述卷积层和所述下采样层串 联且交替设置； 第二特征解码网络， 与所述第 一特征编码网络串联， 包括多个卷积层和多个上采样层， 所述卷积层和所述上采样层串联且交替设置； 所述第一特征编码网络的输入包括： 所述基础着装变换图像； 或者所述基础着装变换 图像和前一个所述子校正网络 输出的中间校正图像； 所述第二特征解码网络的第 一目标卷积层的输入包括： 所述第 一特征编码网络的最后 一个下采样层输出的中间校正图像； 所述第二特征解码网络的第 二目标卷积层的输入包括： 与所述第 二目标卷积层相邻的 前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第一卷积层输出 的中间校正图像； 所述第二特征解码网络的第 三目标卷积层的输入包括： 与所述第 三目标卷积层相邻的 前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第二卷积层输出权　利　要　求　书 1/5 页 2 CN 115049536 A 2的中间校正图像； 所述第二特征解码网络的第四目标卷积层的输入包括： 与所述第四目标卷积层相邻的 前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第三卷积层输出 的中间校正图像； 所述第二特征解码网络的第五 目标卷积层的输入包括： 与所述第五目标卷积层相邻的 前一个所述上采样层输出的中间校正图像和所述第一特征编码网络中的第四卷积层输出 的中间校正图像； 其中， 所述第 一目标卷积层至所述第五目标卷积层在所述第 二特征解码网络中的位置 顺序与递增顺序一致， 所述第一特征编 码网络中的所述第一卷积层至所述第四卷积层的位 置顺序与递增顺序相反。 5.根据权利要求2所述的系统， 其特 征在于， 所述第一特征提取网络包括多个卷积层和多个下采样层， 所述卷积层和所述下采样层 串联且交替设置， 所述卷积层用于提取所述 目标着装的所述着装特征， 所述下采样层用于 对所述卷积层输出的所述着装特 征进行下采样编码； 所述第二特征提取网络包括多个卷积层和多个下采样层， 所述卷积层和所述下采样层 串联且交替设置， 所述卷积层用于提取所述 目标对象的所述人体特征， 所述下采样层用于 对所述卷积层输出的所述人体特 征进行下采样编码。 6.根据权利要求2所述的系统， 其特征在于， 所述第 一特征解码网络包括多个卷积层和 多个上采样层， 所述卷积层和所述上采样层串联且交替设置， 所述上采样层用于对所述融 合特征进行上采样解码； 所述第一特征解码网络的第六目标卷积层的输入包括： 所述第 一特征提取网络 中最后 一个下采样层输出的所述着装特征和所述第二特征提取网络中最后一个下采样层输出的 所述人体特 征； 所述第一特征解码网络的第七目标卷积层的输入包括： 与所述第七目标卷积层相邻的 前一个所述上采样层输出的所述融合特征、 所述第一特征提取网络中的第五卷积层输出的 所述着装特 征以及所述第二特 征提取网络中的第六 卷积层输出的所述人体特 征； 所述第一特征解码网络的第八目标卷积层的输入包括： 与所述第八目标卷积层相邻的 前一个所述上采样层输出的所述融合特征、 所述第一特征提取网络中的第七卷积层输出的 所述着装特 征以及所述第二特 征提取网络中的第八卷积层输出的所述人体特 征； 所述第一特征解码网络的第九目标卷积层的输入包括： 与所述第九目标卷积层相邻的 前一个所述上采样层输出的所述融合特征、 所述第一特征提取网络中的第九卷积层输出的 所述着装特 征以及所述第二特 征提取网络中的第十卷积层输出的所述人体特 征； 其中， 所述第六目标卷积层至所述第九目标卷积层在所述第 一特征解码网络中的位置 顺序与递增顺序一致， 所述第一特征提取网络中的所述第 五卷积层、 所述第七卷积层以及 所述第九卷积层的位置顺序与递增顺序一致， 所述第二特征提取网络中的所述第六卷积 层、 所述第八卷积层以及所述第十卷积层的位置顺序与递增顺序一 致。 7.根据权利要求1所述的系统， 其特 征在于， 所述着装变换 单元包括： 空间变换网络， 用于以所述目标着装的图像和所述着装分割图像为输入， 按照所述着 装分割图像对所述目标着装进行变换， 得到所述着装变换图像；权　利　要　求　书 2/5 页 3 CN 115049536 A 3