(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211285950.4 (22)申请日 2022.10.20 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 李学龙　王栋　罗健　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06T 7/73(2017.01) G06T 1/00(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/64(2022.01)G06V 20/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种局部几何建模的点云数据解 算方法 (57)摘要 本发明涉及一种局部几何建模的点云数据 解算方法， 包括： 由全局特征编码器对多尺度特 征映射层输出的特征进行注意力操作得到全局 特征； 由方向解码器学习点云上的每个采样点的 可抓取性以及方向向量， 预测可抓取方向； 以及 由操作解码器预测可抓取方向上的平面旋转 以 及抓取深度、 宽度。 该方法能够充分挖掘点数数 据的几何结构信息， 输出一定范围内的最稳定的 抓取， 并且 该方法的模型采用端到端的编码器解 码器结构， 可以并行输出 预测的抓取参数。 权利要求书2页 说明书6页 附图1页 CN 115546302 A 2022.12.30 CN 115546302 A 1.一种局部几何建模的点云数据解 算方法， 其特 征在于， 包括： 由全局特 征编码器对多尺度特 征映射层输出的特 征进行注意力操作得到全局特 征； 由方向解码器学习点云上的每个采样点的可抓取性以及方向向量， 预测可抓取方向； 以及 由操作解码器预测可抓取 方向上的平面旋转以及抓取深度、 宽度。 2.根据权利要求1所述的局部几何建模的点云数据解 算方法， 其特 征在于， 还 包括： 从原始数据集中提取点云数据和标注信息； 对原始数据集进行 预处理及数据增强得到建模数据集； 将建模数据集分为训练集和 测试集； 以训练集作为输入， 经 过多尺度特 征映射层处 理后得到语义特 征和几何特 征。 3.根据权利要求1所述的局部几何建模的点云数据解算方法， 其特征在于， 注意力的计 算公式如下： 其中Q,K,V分别为特征经过 映射后的查询， 待查询， 值矩阵， d为特征维度， Softmax(.) 为归一化指数函数。 4.根据权利要求1所述的局部几何建模的点云数据解算方法， 其特征在于， 由方向解码 器预测可抓取 方向包括： 在每个采样点上以球面的形式均匀采样3 00个方向； 方向解码器计算300个方向的方向置信度， 并从300个方向中选取一个方向置信度最高 的方向作为可抓取 方向。 5.根据权利要求4所述的局部几何建模的点云数据解算方法， 其特征在于， 所述方向解 码器或所述操作解码 器首先将抓取查询特征进行自注意力计算， 之后抓取查询特征与所述 全局特征进行交叉注意力计算以学习局部的特 征。 6.根据权利要求5所述的局部几何建模的点云数据解算方法， 其特征在于， 进行交叉注 意力计算时， 设置查询半径， 每个抓取查询特征与查询半径内的全局特征进行交叉注意力 计算。 7.根据权利要求5所述的局部几何建模的点云数据解算方法， 其特征在于， 还包括将傅 里叶位置编码信息加入到抓取查询特 征中。 8.根据权利要求1所述的局部几何建模的点云数据解算方法， 其特征在于， 根据 预测的 可抓取方向， 利用所述可抓取方向的方向编码作为嵌入和抓取查询特征一起输入所述操作 解码器。 9.根据权利要求2所述的局部几何建模的点云数据解算方法， 其特征在于， 所述对原始 数据集进行 预处理包括： 每个场景随机采样两万个点， 若一次采样不够两万个点， 则重复采样； 根据每个场景中的单个物体的位姿得到当前场景 下的标签； 和/或 所述对原 始数据集进行 数据增强包括： 随机将每个场景沿着YZ平面进行反转或者沿着Z轴进行旋转， 旋转角度在 ‑30度～+30 度之间。权　利　要　求　书 1/2 页 2 CN 115546302 A 210.根据权利要求2所述的局部几何建模的点云数据解算方法， 其特征在于， 将所述建 模数据集分为训练集和测试集， 其中训练集包含100个场景， 每个场景包含256个点云数据， 测试集包 含90个场景， 每 个场景包 含256个点云数据； 将所述测试集平均分成三份， 其中第一份测试集中的物体出现在训练集， 第二份测试 集中的物体与训练集中的物体形状相近， 第三份测试集中的物体未 出现在训练集。 11.根据权利要求2所述的局部几何建模的点云数据解 算方法， 其特 征在于， 还 包括： 输出映射层将预测的结果与标签结果进行损失计算， 并反向传播更新基于 Transformer的多尺度抓取模 型的参数， 其中基于Transformer的多尺度抓取模型的预测包 括抓取方向的方向 向量、 抓取中心、 平面旋转矩阵、 抓取宽度、 抓取置信度以及抓取深度。权　利　要　求　书 2/2 页 3 CN 115546302 A 3