(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211156572.X (22)申请日 2022.09.22 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 刘成　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 张静 (51)Int.Cl. G06T 19/00(2011.01) G06T 17/00(2006.01) G06T 7/55(2017.01) G06T 7/80(2017.01) G06T 3/40(2006.01)G06F 3/01(2006.01) (54)发明名称 虚拟仿真场景与现实场景同步方法、 装置及 设备 (57)摘要 本发明提供了一种虚拟仿真场景与现实场 景同步方法、 装置及设备， 该方法包括： 获取现实 场景的图像数据； 基于图像数据， 以及现实场景 与现实场景对应的虚拟仿真场景之间的缩放比 例参数， 生成第一点云数据集； 计算本次生成的 第一点云数据集与上一次生成的第一点云数据 集之间的差异数据， 得到第二点云数据集； 将第 二点云数据集投射给VR设备； VR设备用于根据本 次获取的第二点云数据集和上一次获取的第二 点云数据集生成虚拟仿真场景。 如此， 减小了数 据的传输量和VR设备在生成虚拟仿真场景时的 数据计算量， 进而提高了虚拟 仿真场景与现实场 景同步的实时性。 权利要求书2页 说明书9页 附图2页 CN 115359225 A 2022.11.18 CN 115359225 A 1.一种虚拟仿真场景与现实场景同步方法， 其特 征在于， 包括： 获取现实场景的图像数据； 基于所述图像数据， 以及所述现实场景与 所述现实场景对应的虚拟仿真场景之间的缩 放比例参数， 生成第一 点云数据集； 计算本次生成的第 一点云数据集与 上一次生成的第 一点云数据集之间的差异数据， 得 到第二点云数据集； 将所述第二点云数据集投射给VR设备； 所述VR设备用于根据本次获取的第二点云数据 集和上一次获取的第二 点云数据集 生成所述虚拟仿真场景。 2.根据权利要求1所述的方法， 其特征在于， 所述计算本次生成的第 一点云数据集与 上 一次生成的第一 点云数据集之间的差异数据， 得到第二 点云数据集之前， 还 包括： 判断所述上一次生成的第一 点云数据集是否为空集； 所述计算本次生成的第一点云数据集与上一次生成的第一点云数据集之间的差异数 据， 得到第二 点云数据集， 具体包括： 若所述上一 次生成的第 一点云数据集不为空集， 则计算本次生成的第 一点云数据集与 上一次生成的第一 点云数据集之间的差异数据， 得到第二 点云数据集； 所述方法还 包括： 若所述上一 次生成的第 一点云数据集为空集， 则 定义本次生成的第 一点云数据集为所 述第二点云数据集。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述图像数据， 以及所述现实场 景与所述现实场景对应的虚拟仿真场景之间的缩放比例参数， 生成第一点云数据集， 具体 包括： 基于所述图像数据， 对所述现实场景进行三维重建， 得到第三 点云数据集； 基于预设缩放比例， 调整所述第三点云数据集中坐标数据的大小和数量， 得到所述第 一点云数据集； 所述缩放比例参数包括所述预设缩放比例。 4.根据权利要求3所述的方法， 其特征在于， 所述基于预设缩放比例， 调整所述第三点 云数据集中坐标 数据的大小和数量， 得到所述第一 点云数据集之前， 还 包括： 去除所述第三 点云数据集中的噪声数据。 5.根据权利要求 4所述的方法， 其特 征在于， 所述现实场景中包括待同步 三维物体； 所述去除所述第三 点云数据集中的噪声数据， 具体包括： 去除所述第三点云数据集中除所述待同步三维物体对应的坐标数据之外的其他坐标 数据， 得到所述待同步 三维物体的点云数据集； 去除所述待同步 三维物体的点云数据集中的离 散坐标数据； 对去除离散坐标数据后的所述待同步三维物体的点云数据集进行下采样处理， 得到所 述第三点云数据集。 6.根据权利要求3所述的方法， 其特 征在于， 所述获取现实场景的图像数据， 具体包括： 获取所述现实场景的多张图像， 得到所述图像数据； 所述基于所述图像数据， 对所述现实场景进行三维重建， 得到第三点云数据集， 具体包 括： 基于所述图像数据， 确定每张所述图像分别对应的第四点云数据集；权　利　要　求　书 1/2 页 2 CN 115359225 A 2基于各所述第四点云数据集， 对所述现实场景进行三维重建， 得到所述第三点云数据 集。 7.根据权利要求1所述的方法， 其特征在于， 所述图像数据中包括带有颜色通道的深度 图像。 8.一种虚拟仿真场景与现实场景同步装置， 其特 征在于， 包括： 图像数据获取模块， 用于获取现实场景的图像数据； 第一点云数据集生成模块， 用于基于所述图像数据， 以及所述现实场景与所述现实场 景对应的虚拟仿真场景之间的缩放比例参数， 生成第一 点云数据集； 第二点云数据集生成模块， 用于计算本次生成的第 一点云数据集与 上一次生成的第 一 点云数据集之间的差异数据， 得到第二 点云数据集； 数据投射模块， 用于将所述第二点云数据集投射给VR设备； 所述VR设备用于根据本次 获取的第二 点云数据集和上一次获取的第二 点云数据集 生成所述虚拟仿真场景。 9.根据权利要求8所述的装置， 其特 征在于， 还 包括： 判断模块， 用于判断所述上一次生成的第一 点云数据集是否为空集； 所述第二 点云数据集 生成模块具体用于： 若所述上一 次生成的第 一点云数据集不为空集， 则计算本次生成的第 一点云数据集与 上一次生成的第一 点云数据集之间的差异数据， 得到第二 点云数据集； 若所述上一 次生成的第 一点云数据集为空集， 则 定义本次生成的第 一点云数据集为所 述第二点云数据集。 10.一种虚拟仿真场景与现实场景同步设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够： 获取现实场景的图像数据； 基于所述图像数据， 以及所述现实场景与 所述现实场景对应的虚拟仿真场景之间的缩 放比例参数， 生成第一 点云数据集； 计算本次生成的第 一点云数据集与 上一次生成的第 一点云数据集之间的差异数据， 得 到第二点云数据集； 将所述第二点云数据集投射给VR设备； 所述VR设备用于根据本次获取的第二点云数据 集和上一次获取的第二 点云数据集 生成所述虚拟仿真场景。权　利　要　求　书 2/2 页 3 CN 115359225 A 3