(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211124733.7 (22)申请日 2022.09.15 (71)申请人 网易(杭州)网络有限公司 地址 310052 浙江省杭州市滨江区网商路 599号网易大厦 (72)发明人 金诚　陈赢峰　范长杰　胡志鹏　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 彭星 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/75(2022.01) G06V 10/774(2022.01) (54)发明名称 网络训练及场景重建方法、 装置、 机械、 系统 及设备 (57)摘要 本申请提供一种网络训练及场景重建方法、 装置、 机械、 系统及设备， 涉及图像处理技术领 域。 该训练方法包括： 获取预设工程机械上双目 相机采集的预设工程作业场景的多组样本双目 图像； 对多组样本双目图像进行处理， 得到预设 工程作业场景的稀疏点云； 根据双目相机的相机 参数， 对稀疏点云进行稠密建图， 得到多组样本 双目图像对应的多组稠 密深度图； 对每组稠 密深 度图进行处理， 得到每组样本双目图像对应的一 个样本视差图； 根据多组样本双目图像以及对应 的样本视差图进行模型训练， 得到立体匹配网 络。 本申请可 以降低三维场景重建的成本、 提高 实时性， 且实现基于高质量点云完成三维场景重 建。 权利要求书3页 说明书21页 附图7页 CN 115512042 A 2022.12.23 CN 115512042 A 1.一种立体匹配网络的训练方法， 其特 征在于， 所述方法包括： 获取预设工程机 械上双目相机采集的预设工程作业场景的多组样本双目图像； 对所述多组样本双目图像进行处 理， 得到所述预设工程作业场景的稀疏点云； 根据所述双目相机的相机参数， 对所述稀疏点云进行稠密建图， 得到所述多组样本双 目图像对应的多组稠密深度图； 对每组稠密深度图进行处 理， 得到每组样本双目图像对应的一个样本 视差图； 根据所述多组样本双目图像以及对应的样本视差图进行模型训练， 得到所述立体匹配 网络。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述多组样本双目图像进行处理， 得到所述预设工程作业场景的稀疏点云， 包括： 采用运动恢复结构技术， 对所述多组样本双目图像进行处理， 得到所述预设工程作业 场景的稀疏地图， 所述稀疏地图包括： 所述稀疏点云和所述相机参数。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述双目相机的相机参数， 对所 述稀疏点云进行稠密建图， 得到所述多组样本双目图像对应的多组稠密深度图， 包括： 根据所述双目相机的相机参数， 采用多视角立体几何技术， 对所述稀疏点云进行稠密 建图， 得到所述多组稠密深度图。 4.根据权利要求1所述的方法， 其特征在于， 所述对每组稠密深度图进行处理， 得到每 组样本双目图像对应的一个样本 视差图， 包括： 根据所述每组样本双目图像中的参考图像、 所述每组稠密深度图中的参考深度图和参 考相机的相机参数， 计算所述参考深度图对应的参考点云， 其中， 所述每组样本双目 图像包 括所述参考图像和目标图像， 所述参考深度图为参考图像对应的深度图， 所述参考相 机为 所述双目相机中生成所述 参考图像对应的相机； 根据所述 参考点云和所述 参考相机的相机参数， 计算所述 参考点云的投影 像素图； 根据所述投影 像素图的像素值和所述目标图像的像素值， 计算所述样本 视差图。 5.如权利要求4所述的方法， 其特征在于， 所述根据 所述参考点云和所述双目相机的相 机参数， 计算所述 参考点云的投影 像素图， 包括： 根据所述 参考点云和所述 参考相机的相机参数， 计算所述 参考点云的投影深度图； 根据所述投影深度图和所述 参考相机的相机参数， 计算所述投影 像素图。 6.如权利要求5所述的方法， 其特征在于， 所述根据 所述投影深度图和所述参考相机的 相机参数， 计算所述投影 像素图之前， 所述方法还 包括： 根据所述投影深度图各个像素点的深度值和所述目标深度图各个像素点的深度值， 滤 除所述投影深度图中的噪声像素点。 7.如权利要求4所述的方法， 其特征在于， 所述根据 所述投影像素图的像素值和所述每 组样本双目图像中的目标图像的像素值， 计算所述样本 视差图之前， 所述方法还 包括： 根据所述投影像素图各个像素点的像素值和所述目标图像各个像素点的像素值， 滤除 所述投影 像素图中的噪声像素点。 8.一种三维场景重建方法， 其特 征在于， 所述方法包括： 获取预设工程机 械上双目相机采集的预设工程作业场景的双目图像； 采用预先训练的立体匹配网络， 对所述双目图像进行处理， 得到所述双目图像对应的权　利　要　求　书 1/3 页 2 CN 115512042 A 2视差图， 所述立体匹配网络为采用如权利要求1 ‑7任一所述的立体匹配网络的训练方法得 到的； 根据所述双目相机的配置参数， 对所述视差 图进行处理， 得到所述预设工程作业场景 的三维点云数据； 根据所述三维点云数据和预设视角方向， 进行场景渲染， 得到所述预设工程作业场景 在所述预设视角方向的三维场景图像。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述双目相机的配置参数， 对所 述视差图进行处 理， 得到所述预设工程作业场景的三维点云数据， 包括： 根据所述双目相机的焦距和基线距离， 对所述视差 图进行处理， 得到所述双目图像对 应的深度图像； 根据所述双目相机的内参数， 对所述深度图像进行处理， 得到所述预设工程作业场景 的三维点云数据。 10.根据权利要求8所述的方法， 其特征在于， 所述根据所述三维点云数据和预设视角 方向， 进行场景渲染， 得到所述预设工程作业场景在所述预设视角方向的三维场景图像之 前， 所述方法还 包括： 接收客户端发送的预设视角方向指令； 所述根据所述三维点云数据和预设视角方向， 进行场景渲染， 得到所述预设工程作业 场景在所述预设视角方向的三维场景图像， 包括： 根据所述三维点云数据和所述预设视角方向指令， 进行场景渲染， 得到所述预设工程 作业场景在所述预设视角方向的三维场景图像； 所述根据所述三维点云数据和预设视角方向， 进行场景渲染， 得到所述预设工程作业 场景在所述预设视角方向的三维场景图像之后， 所述方法还 包括： 向所述客户端发送所述预设视角方向的三维场景图像。 11.一种立体匹配网络的训练装置， 其特 征在于， 所述装置包括： 样本图像获取模块， 用于获取预设工程机械上双目相机采集的预设工程作业场景的多 组样本双目图像； 稀疏点云生成模块， 用于对所述多组样本双目图像进行处理， 得到所述预设工程作业 场景的稀疏点云； 稠密建图模块， 用于根据 所述双目相机的相机参数， 对所述稀疏点云进行稠密建图， 得 到所述多组样本双目图像对应的多组稠密深度图； 样本视差 图生成模块， 用于对每组稠密深度图进行处理， 得到每组样本双目图像对应 的一个样本 视差图； 匹配网络训练模块， 用于根据 所述多组样本双目图像以及对应的样本视差图进行模型 训练， 得到所述 立体匹配网络 。 12.一种三维场景重建装置， 其特 征在于， 所述装置包括： 双目图像获取模块， 用于获取预设工程机械上双目相机采集的预设工程作业场景的双 目图像； 视差图生成模块， 用于采用预先训练的立体匹配网络， 对所述双目图像进行处理， 得到 所述双目图像对应的视差图， 所述立体匹配网络为采用如权利要求1 ‑4任一所述的立体匹权　利　要　求　书 2/3 页 3 CN 115512042 A 3