(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211277142.3 (22)申请日 2022.10.19 (71)申请人 南京航空航天大 学深圳研究院 地址 518000 广东省深圳市南 山区粤海街 道高新南四道19号虚拟大学园R4栋A 区218室 (72)发明人 魏明强　胡飞　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06T 17/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 单目图像 辅助的大 型飞机点云补全方法 (57)摘要 本发明公开了单目图像辅助的大型飞机点 云补全方法， 利用卷积神经网络从单目图像中提 取3D点云； 将输入的大型 飞机残缺点云和从单目 图像中提取的点云进行配准合并后下采样； 使用 基于Transformer的几何信息感知编码器提取下 采样后的点 云的特征； 解码器解码编码器提取得 到的特征， 得到粗糙的点云； 利用编码器提取得 到的特征， 对粗糙的点云进行多次细化和上采样 操作， 得到高质量且稠密的补全结果。 在基于深 度学习的点云补全方法中引入单目图像信息去 辅助点云补全， 在一定程度上提高了补全效果。 而使用Transformer结构进行点云补全， 则增强 了特征的提取能力和3D结构的恢复 能力， 相较 之 前的方法可以得到更好的补全效果。 权利要求书3页 说明书6页 附图3页 CN 115496881 A 2022.12.20 CN 115496881 A 1.单目图像辅助的大 型飞机点云补全方法， 其特 征在于， 包括以下步骤： S1、 利用卷积神经网络从单目图像中提取3D点云； S2、 结合相机内参， 将输入的大型飞机残缺点云和从单目图像中提取的点云进行配准 合并， 然后对合并结果进行 下采样操作； S3、 使用基于Transformer的几何信息感知编码器提取 下采样后的点云的特 征； S4、 使用卷积神经网络设计的解码器解码编码器提取得到的特征， 得到粗糙的补全点 云； S5、 采用Transformer结构， 利用编码器提取得到的特征， 对粗糙的点云进行多次细化 和上采样 操作， 得到高质量且稠密的补全结果。 2.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法， 其特征在于， 步骤S1 包括以下子步骤： S101、 使用一个卷积层处 理输入单目图像I， 得到张量T1； S102、 针对输入的单目图像I， 生成一个符合正态分布的随机数， 并用全连接层， 将该随 机数拓展到2D， 生成一个2D张量T2， 其尺寸和张量T1相同； S103、 连接张量T1和T2， 得到张量T3； S104、 使用多个卷积层处理张量T3， 得到中间结果张量T4、 T5和T6， 以及最终结果特征 Vimg； S105、 对Vimg进行反卷积 操作， 并将反卷积结果和T6连接， 得到张量T7； S106、 对T7进行卷积和反卷积 操作， 并将反卷积结果和T5连接， 得到张量T8； S107、 对T8进行卷积和反卷积 操作， 并将反卷积结果和T4连接， 得到张量T9； S108、 对T9进行卷积和反卷积 操作， 得到点 集P1； S109、 对Vimg进行全连接操作， 得到点 集P2； S110、 合并点 集P1和P2， 得到最终结果3D点云Pimg。 3.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法， 其特征在于， 步骤S2 包括以下子步骤： S201、 通过相机内参， 旋转从单目图像中提取到的3D点云Pimg， 得到P′img； S202、 将旋转结果P ′img和输入的残缺 点云Pinput连接； S203、 对S202的连接结果进行 下采样， 得到新的点云P0。 4.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法， 其特征在于， 步骤S3 包括以下子步骤： S301、 对下采样后的点云P0进行下采样， 得到骨架点云P00＝{q1,q2,...,qN}； S302、 对P00中的每个点qi， 使用一个多层特征感知器MLP， 在点云P00中提取点qi的特征τ (qi)； S303、 对P00中的每个点qi， 使用一个轻量动态图卷积神经网络并在其中多层进行下采 样， 在点云P0中提取点qi的特征 S304、 对P00＝{q1,q2,...,qN}中的每个点， 得到其特征 从而得到一 个一维的向量序列F＝{f1,f2,...,fN}； S305、 将一维的向量序列F＝f1,f2,…,fN输入到一个 几何信息感知编码器中， 该编码器权　利　要　求　书 1/3 页 2 CN 115496881 A 2基于Transformer结构， 得到同样维度的特 征向量序列F ′＝{f′1,f′2,...,f′N}； S306、 将特征向量序列F ′＝{f′1,f′2,...,f′N}输入到一个MLP中， 得到全局特征fcode， 即 编码器提取 得到的特 征。 5.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法， 其特征在于， 步骤S4 包括以下子步骤： S401、 将编码器提取得到的特征fcode拓展为N维向量fcode,fcode,…,fcode， 并与特征向量 序列F′＝{f′1,f′2,…,f′N}连接， 得到新的特征向量序列{f ′1+fcode,f′2+fcode,...,f′N+ fcode}； S402、 使用MLP处理{f ′1+fcode,f′2+fcode,...,f′N+fcode}， 得到新的特征向量序列{f ″1, f″2,…,f″N}； S403、 将fcode拓展为N维向量fcode,fcode,…,fcode， 并与特征向量序列{f ″1,f″2,…,f″N}连 接， 得到新的特 征向量序列 {f″1+fcode,f″2+fcode,...,f″N+fcode}； S404、 使用MLP处理{f ″1+fcode,f″2+fcode,...,f″N+fcode}， 对得到的点云进行下采样， 最 终得到粗 糙的点云P ′coarse。 6.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法， 其特征在于， 步骤S5 包括以下子步骤： S501、 先用编码器提取得到的特征fcode平铺粗糙的点云P ′coarse， 再输入到MLP中， 得到特 征序列Q1； S502、 将Q1输入到一个Transformer结构的网络中， 该网络中的Q＝Q1， K＝Q1， 得到输出 结果： 特征序列H1； S503、 对H1使用一维卷积， 再将卷积结果和H1连接， 得到新的特 征序列H′1； S504、 使用MLP处 理H′1， 得到特征序列K2； S505、 使用MLP处 理K2， 得到位移序列ΔP1， 将P′coarse与ΔP1相加， 得到新 点云P′1； S506、 先用fcode平铺点云P ′1， 再输入到 MLP中， 得到特 征序列Q2； S507、 将Q2输入到一个Transformer结构的网络中， 该网络中的Q＝Q2， K＝K2， 得到输出 结果： 特征序列H2； S508、 对H2使用一维卷积， 再将卷积结果和多倍的 的H2连接， 得到新的特 征序列H′2； S509、 使用MLP处 理H′2， 得到特征序列K3； S510、 使用MLP处理K3， 得到多倍的位移序列ΔP2， 将P′1与ΔP2相加， 得到更稠密的点云 P2′； S511、 先用fcode平铺点云P ′2， 再输入到 MLP中， 得到特 征序列Q3； S512、 将Q3输入到一个Transformer结构的网络中， 该网络中的Q＝Q3， K＝K3， 得到输出 结果： 特征序列H3； S513、 对H3使用一维卷积， 再将卷积结果和多倍的H3连接， 得到新的特 征序列H′3； S515、 使用MLP处 理H′3， 得到特征序列K4； S515、 使用MLP处理K4， 得到多倍的位移序列ΔP3， 将P′2与ΔP3相加， 得到更稠密的最终 补全结果P ′3。 7.根据权利要求1所述的单目图像辅助的大型飞机点云补全方法， 其特征在于， 对S1 ‑ S5整体网络进行训练时， 利用密度感知的倒角距离函数作为损失函数， 倒角距离函数定义权　利　要　求　书 2/3 页 3 CN 115496881 A 3