(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210593046.3 (22)申请日 2022.05.27 (71)申请人 昆明理工大 学 地址 650093 云南省昆明市五华区一 二一 大街文昌巷68号 (72)发明人 黄亮　李小祥　唐伯惠　陈国坤　 孙宇　吴春燕　李文国　季欣然　 (74)专利代理 机构 云南盛恒知识产权代理有限 公司 53224 专利代理师 陈艺琴 (51)Int.Cl. G06V 10/26(2022.01) G06V 20/10(2022.01) G06V 10/40(2022.01) G06K 9/62(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 融合富尺度特征的双分支网络遥感图像建 筑语义分割方法 (57)摘要 本发明公开了一种融合富尺度特征的双分 支网络遥感图像 建筑语义分割方法， 包括以下步 骤： 深层语义路径 基于混合空洞卷积的ResNet 50 提取不同层次的建筑物语义特征； 将提取的深层 语义特征经空间金字塔处理； 浅层空间路径采用 较小的下采样倍数以保持图像的分辨率， 主要以 Res2Net模块及富尺度特征提取模块获取准确的 图像空间信息； 将深层特征与浅层特征自适应融 合。 本发明能避免因浅层特征提取不当， 影响深 层特征的准确性； 从浅层空间路径 提取具有丰富 空间信息的高分辨率特征， 从深层语义路径获取 聚合上下文信息的高级语义特征， 确保了不同层 次特征的高效利用； 特征融合模块能为不同分辨 率的特征图自适应 分配权重， 实现更好的特征融 合。 权利要求书2页 说明书11页 附图5页 CN 114821069 A 2022.07.29 CN 114821069 A 1.一种融合富尺度特征的双分支网络遥感图像建筑语义分割方法， 其特征在于， 包括 以下步骤： Step1： 深层语义路径基于混合空洞卷积的ResNet5 0提取不同层次的建筑物语义特 征； Step2： 将提取的深层语义特 征经空间金字塔处 理， 获取深层特 征中的多尺度信息； Step3： 浅层空间路径采用较小的下采样倍数以保持图像 的分辨率， 主要以Res2Net模 块及富尺度特 征提取模块获取准确的图像空间信息； Step4： 特征融合模块， 将深层特征与浅层特征自适应融合， 最终获取得到有效的分割 结果。 2.根据权利要求1所述的一种融合富尺度特征的双 分支网络遥感图像建筑语义分割方 法， 其特征在于： 所述Step1中深层语义特征包含了大量语义和 较少位置信息， 使用空间金 字塔对不同区域的上下文进行聚合， 对残差网络提取到的深层语义特征再进 行空间金字塔 处理； 混合空洞卷积计算 为： 式中r为空洞率(Dilation  rate)， W′(x,y)为空洞卷积核， W ″(x,y)为混合空洞卷积核， m∈(1,2,5,1,2,5)。 3.根据权利要求1所述的一种融合富尺度特征的双 分支网络遥感图像建筑语义分割方 法， 其特征在于： 所述Step3中浅层空间路径保持较大的输出特征分辨率； 针对建筑物形状 多样、 尺度不一， 以及浅层特征纹理、 空间信息复杂， 在浅层空间路径中， 结合Res2Net设计 了一种富尺度特征提取模块， 通过同时增加块外、 块内的感受野， 提高浅层特征对分割的映 射能力。 4.根据权利要求3所述的一种融合富尺度特征的双 分支网络遥感图像建筑语义分割方 法， 其特征在于： 所述富尺度特征提取模块由卷积、 平均池化、 Res2Netblock组成； 首先输入 的特征X分别进行3 ×3卷积和3×3平均池化完成2倍下采样， 以获取足够的感受域； 再对下 采样后的特征分别进行1 ×1卷积、 卷积核为3的Res2block、 卷积核为5的Res2block； 最后将 不同尺度的特征级联， 得到输出特征Y； 顾及输入特征X的分辨率大小， 并未考虑卷积核为7 ×7的情况。 5.根据权利要求1所述的一种融合富尺度特征的双 分支网络遥感图像建筑语义分割方 法， 其特征在于： 所述Step4中特征融合模块将 输入的浅层特征(X1)、 深层特征(X2)先通过1 ×1卷积核进行降维处理， 减少 模型计算量， 将降维后的X2进行归一化处理， 得到与浅层特 征图尺度相对应的权重矩阵， 将其与浅层特征图相乘， 完成对浅层特征中不准确信息的约 束， 最后将加权后的浅层特 征图与深层特 征图相加， 得到融合后的特 征X3。 6.根据权利要求5所述的一种融合富尺度特征的双 分支网络遥感图像建筑语义分割方 法， 其特征在于： 所述特 征融合表达式如式(6)所示： X3＝F(X1,X2)          (5)权　利　要　求　书 1/2 页 2 CN 114821069 A 2X3＝f(X1,X2)＝(K(2,1,1,c)·X1)*LN(K(2,1,1,c)·X2)+(K(2,1,1,c)·X2)     (6) 其中， K(2,1,1,c)为1 ×1卷积核， c为卷积核通道数， 2为实验采用的批量大小； 在进行 归一化优化特征参数时， 考虑到实验训练批量较小， 采用Layer ‑Normalization方式调整深 层特征X2的数据分布， 其归一 化表达式如下： 式(7‑9)中： m为一层中隐层节点个数， l为多层感知机的层 数； μ为输入向量均值； σ 为标 准差； ε为维持参数稳定所设常量； 为输入的第i个样本值； 为输入的第i个样本值对 应的归一 化值。权　利　要　求　书 2/2 页 3 CN 114821069 A 3