(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210956838.2 (22)申请日 2022.08.10 (71)申请人 七腾机器人有限公司 地址 401123 重庆市渝北区卉竹路2号7幢 21-1号 (72)发明人 朱冬　杨易　方向明　张建　宋雯　 唐国梅　 (74)专利代理 机构 重庆西南 华渝专利代理有限 公司 50270 专利代理师 陈香兰 (51)Int.Cl. G01C 21/00(2006.01) G01C 21/20(2006.01) G06T 7/269(2017.01) G06T 7/73(2017.01) (54)发明名称 一种动态环境下移动机器人定位和建图方 法及系统 (57)摘要 本发明提供了一种动态环境下移动机器人 定位和建图方法及系统。 该方法包括： S1， 获取 RGB图像和深度图像； S2， 将当前帧RGB图像输入 实例分割网络获得动态物体掩膜； 将当前帧和下 一帧RGB图像输入光流估计网络获得稠密光流 场； S3， 融合稠密光流场和动态物体掩膜获得融 合蒙版； S4， 利用当前帧深度图像修缮融合蒙版 中的物体轮廓获得修缮蒙版； S5， 利用修缮蒙版 屏蔽当前帧RGB图像中的动态区域， 视觉SLAM模 块进行相机位姿估计和建立点云地图。 利用稠 密 光流场信息弥补实例分割网络只能检测到先验 动态物体的不足， 利用深度图像对融合蒙版中的 物体轮廓进行修缮， 提高了视觉SLA M模块相机位 姿估计精度、 建图准确性和定位精度。 权利要求书2页 说明书6页 附图3页 CN 115290072 A 2022.11.04 CN 115290072 A 1.一种动态 环境下移动机器人定位和建图方法， 其特 征在于， 包括： 步骤S1， 获取同步拍摄的RGB图像和深度图像； 步骤S2， 将当前帧RGB图像输入预先训练的实例分割网络获得动态物体掩膜； 将当前帧 和下一帧RGB图像输入光 流估计网络获得稠密光 流场； 步骤S3， 融合稠密光 流场和动态 物体掩膜获得融合 蒙版； 步骤S4， 利用当前帧深度图像修缮融合 蒙版中的物体 轮廓获得修缮蒙版； 步骤S5， 利用修缮蒙版屏蔽当前帧RGB图像中的动态区域， 将屏蔽动态区域后的RGB图 像和当前帧深度图像输入视 觉SLAM模块进行相机位姿估计和建立 点云地图。 2.如权利要求1所述的动态环境下移动机器人定位和建图方法， 其特征在于， 所述步骤 S3中融合稠密光 流场和动态 物体掩膜获得融合 蒙版， 具体包括： 将稠密光流场转换为蒙塞尔色彩体系的光流RGB图像， 对光流RGB图像进行二值化处理 获得光流掩膜； 将光流掩膜和动态 物体掩膜进行融合 运算获得融合 蒙版。 3.如权利要求2所述的动态环境下移动机器人定位和建图方法， 其特征在于， 在所述光 流RGB图像中， 色相代 表像素点的运动方向， 色度代 表像素点的动量大小； 光流RGB图像二 值化处理过程为： 将光流RGB图像中色度小于色度阈值的像素点组成的区域定义为相对相机静止区域， 将光流RGB图像中除相对相机静止区域之外的区域定义 为初始相对相机运动区域； 获取相对相机静止区内像素点的色相均值； 计算初始相对相机运动区域中像素点的色相与 所述色相均值的差值， 若差值大于等于 色相差值阈值则将对应像素点加入实际相对相机运动区域， 若差值小于色相差值阈值则将 对应像素点加入相对相机静止区域； 将相对相机静止区内像素点的像素值赋值为第 一数值， 将 实际相对相机运动区域内像 素点的像素值赋值 为第二数值， 获得光 流掩膜； 动态物体掩膜中动态物体区域的像素值为第 二数值， 动态物体掩膜中非动态物体区域 的像素值 为第一数值， 第一数值与第二数值 不相等， 第一数值和第二数值的取值 为1或0。 4.如权利要求1 ‑3之一所述的动态环境下移动机器人定位和建图方法， 其特征在于， 所 述步骤S4中利用当前帧深度图像修缮融合 蒙版中的物体 轮廓获得修缮蒙版， 具体包括： 基于边缘判断算法遍历当前帧深度图像的所有像素点提取边缘像素点， 所有边缘像素 点形成多个闭合区域， 建立包括所述多个闭合区域的边 缘信息蒙版； 对于融合蒙版中的每个动态物体区域， 从边缘信 息蒙版中找到与其重合像素点最多的 闭合区域， 记为第一闭合区域， 取第一闭合区域与所述动态物体区域的并集， 将所述并集作 为所述动态 物体区域对应的修缮动态 物体区域。 5.如权利要求4所述的动态环境下移动机器人定位和建图方法， 其特征在于， 所述边缘 判断算法的过程为： 对于深度图像中像素点(u,v)， 按照如下公式判断像素点(u,v)是否为 边缘Edge上的像素点： 权　利　要　求　书 1/2 页 2 CN 115290072 A 2block表示以像素点(u,v)和 像素点(u+1,v+1)为对角线的矩形块(u:u+1,v:v+1)， max (dblock)表示block中的最大深度值， min(dblock)表示block中的最小深度值， τ表示深度阈 值。 6.如权利要求1或2或3或5所述的动态环境下移动机器人定位和建图方法， 其特征在 于， 所述步骤S5包括： 利用修缮蒙版屏蔽当前帧RGB图像中的动态区域获得第二RGB静态图像， 将第二RGB静 态图像输入视觉SLAM模块的视觉里程计处理获得相机位姿， 将第二RGB静态图像和当前帧 深度图像输入视 觉SLAM模块的点云地图生成单 元获得全局点云地图。 7.一种计算机存储介质， 其特征在于， 所述存储介质中存储有至少一条指令、 至少一段 程序、 代码集或指令集， 所述至少一条指令、 所述至少一段程序、 所述代码集或指令集由处 理器加载并执行以实现如权利要求 1‑6中任一项 所述的动态环境下移动机器人定位和建图 方法。 8.一种动态 环境下移动机器人定位和建图系统， 其特 征在于， 包括： 图像获取模块， 获取同步拍摄的RGB图像和深度图像； 动态物体掩膜获取模块， 将当前帧RGB图像输入预先训练的实例分割网络获得动态物 体掩膜； 稠密光流场获取模块， 将当前帧和下一帧RGB图像输入光 流估计网络获得稠密光 流场； 融合蒙版获取模块， 融合稠密光 流场和动态 物体掩膜获得融合 蒙版； 修缮蒙版获取模块， 利用当前帧深度图像修缮融合 蒙版中的物体 轮廓获得修缮蒙版； 屏蔽模块， 利用修缮蒙版屏蔽当前帧RGB图像中的动态区域； 视觉SLAM模块， 基于屏蔽动态区域后的RGB图像和当前帧深度图像进行相机位姿估计 和建立点云地图。 9.如权利要求8所述的动态环境下移动机器人定位和建图系统， 其特征在于， 所述修缮 蒙版获取模块执 行： 基于边缘判断算法遍历当前帧深度图像的所有像素点提取边缘像素点， 所有边缘像素 点形成多个闭合区域， 建立包括所述多个闭合区域的边 缘信息蒙版； 对于融合蒙版中的每个动态物体区域， 从边缘信 息蒙版中找到与其重合像素点最多的 闭合区域， 记为第一闭合区域， 取第一闭合区域与所述动态物体区域的并集， 将所述并集作 为所述动态 物体区域对应的修缮动态 物体区域。 10.一种移动机器人， 其特 征在于， 所述移动机器人 上设置有深度相机和处 理器； 所述处理器接收深度相机同步拍摄的RGB图像和 深度图像， 并执行权利要求1 ‑6之一所 述的动态 环境下移动机器人定位和建图方法的步骤。权　利　要　求　书 2/2 页 3 CN 115290072 A 3