(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210643592.3 (22)申请日 2022.06.08 (71)申请人 云南大学 地址 650000 云南省昆明市五华区翠湖北 路2号 (72)发明人 周浩　张明慧　袁国武　高赟　 普园媛　李鹏　王先旺　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 舒淼 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 高光谱图像分类方法、 装置、 电子设备及存 储介质 (57)摘要 本申请提供一种高光谱图像分类方法、 装 置、 电子设备及存储介质， 所述方法包括： 根据初 始高光谱图像获取多个大小相同的局部图像块， 得到多个基准图像块； 将各基准图像块输入预先 训练得到的三维残差多层融合网络中进行空谱 特征提取， 得到由三维残差多层融合网络输出的 多个二维特征图； 将各二维特征图输入预先训练 得到的特征分析网络中分析各二维特征图对应 的各光谱波段间的光谱关联信息； 基于各二维特 征图对应的各光谱波段间的光谱关联信息进行 分类处理， 得到对应的高光谱图像分类结果。 通 过提取空谱特征并根据各光谱波段间的关联信 息进行分类， 可以充分挖掘高光谱图像各光谱波 段间的相关性， 明显提高空谱特征区别不明显时 的地物的分类精度。 权利要求书3页 说明书15页 附图7页 CN 114926694 A 2022.08.19 CN 114926694 A 1.一种高光谱图像分类方法， 其特 征在于， 所述方法包括： 根据初始高光谱图像获取多个大小相同的局部图像块得到多个基准图像块， 各所述基 准图像块包括多层特 征图， 各层特 征图包括多个光谱波段； 将各所述基准图像块输入预先训练得到的三维残差多层融合网络中进行空谱特征提 取， 得到由所述三维残差多层融合网络输出 的多个二维特征图， 各所述二维特征图分别用 于表征一个光谱波段的空谱联合特征， 所述空谱联合特征用于表征所述光谱波段在空间以 及光谱上的关联 特征； 将各所述二维特征图输入预先训练得到的特征分析网络中分析各所述二维特征图对 应的各光谱波段间的光谱关联信息； 基于各所述二维特征图对应的各光谱波段间的光谱关联信 息进行分类处理， 得到所述 初始高光谱图像对应的分类结果。 2.根据权利要求1所述的高光谱图像分类方法， 其特征在于， 所述将各所述基准图像块 输入预先训练得到的三维残差多层融合网络中进 行空谱特征提取， 得到由所述三 维残差多 层融合网络 输出的多个二维特 征图， 包括： 将各所述基准图像块输入预先训练得到的三维残差多层融合网络 中， 由所述三维残差 多层融合网络中的多个特征卷积层提取空谱特征， 并由所述三维残差多层融合网络中与各 特征卷积层对应的各特征处理层对所述空谱特征进行处理， 得到多个维度 的二维特征向 量， 其中， 所述三维残差多层融合网络中包括原始卷积层以及在所述原始卷积层之后的且 依次排列的所述多个特征卷积层， 所述原始卷积层根据所述基准图像块输出初始空谱特征 图， 各所述特征卷积层基于前一卷积层输出的空谱特征图进 行卷积处理并向后一卷积层以 及对应的特 征处理层输出 卷积处理后的空谱特 征图； 由所述三维残差多层融合网络中与各特征处理层对应的全连接层对所述各二维特征 向量进行特征融合， 并由所述三 维残差多层融合网络中的第二数据重构层将所有融合后的 二维特征向量进行 数据重构得到并输出 所述多个二维特 征图。 3.根据权利要求2所述的高光谱图像分类方法， 其特征在于， 各所述特征处理层包括： 池化层、 降维层以及第一数据重构层； 所述由所述三维残差多层融合网络中的多个特征卷积层提取空谱特征， 并由所述三维 残差多层融合网络中与各特征卷积层对应的各特征 处理层对所述空谱特征进 行处理， 得到 多个维度的二维特 征向量， 包括： 由各特征卷积层对前一卷积层输出的空谱特征图进行空谱特征提取， 输出特征提取后 的空谱特 征图； 由各所述池化层对所述空谱特 征图进行最大池化， 得到对应的第一输出 特征图； 由各所述降维层对所述第一输出 特征图进行降维处 理， 得到对应的第二输出 特征图； 由各所述第 一数据重构层对所述第 二输出特征图进行数据重构， 得到各维度的二维特 征向量； 基于各维度的二维特 征向量， 得到所述多个维度的二维特 征向量。 4.根据权利要求1所述的高光谱图像分类方法， 其特征在于， 将各所述二维特征图输入 预先训练得到的特征分析网络中分析各所述二维特征图对应的各光谱波段间的光谱关联 信息， 包括：权　利　要　求　书 1/3 页 2 CN 114926694 A 2将各所述二维特征图输入所述特征分析网络 中， 由所述特征分析网络的分块层对各所 述二维特征图进行分块处理， 得到分块后的二维特征图， 并将分块后的二维特征图作为第 一维度特 征图； 由所述特征分析网络的线性处理层基于第 一维度特征图进行线性变换处理， 得到第 二 维度特征图； 由所述特征分析网络的分析处理层对所述第 二维度特征图进行光谱分析， 得到各光谱 波段间的光谱关联信息 。 5.根据权利要求4所述的高光谱图像分类方法， 其特征在于， 所述分析处理层包括： 依 次连接的多个分析处 理子层； 所述由所述特征分析网络的分析处理层对所述第 二维度特征图进行光谱分析， 得到各 光谱波段间的光谱关联信息， 包括： 由所述分析处理层中的首个分析处理子层对所述第 二维度特征图进行光谱分析， 得到 初始分析 结果； 由所述分析处理层中首个分析处理子层后的各分析处理子层依次以前一分析处理子 层的分析 结果作为输入数据， 进行光谱分析， 并向后输出分析 结果； 将所述分析处理层中最后一个分析处理子层输出的分析结果作为所述各光谱波段间 的光谱关联信息 。 6.根据权利要求5所述的高光谱图像分类方法， 其特征在于， 所述分析处理层中的各分 析处理子层分别包括多个连续的分析块， 每个分析块中分别包括依次连接的第一归一化 层、 窗口多层自注意层、 第二归一化层、 第一多层感知机、 第三归一化层、 滑动窗口多头自注 意层、 第四归一化层以及第二多层感知机， 所述第二多层感知机的输出结果作为所述分析 块的输出结果， 在多个所述分析块中， 相邻两个分析块中在前 的一个分析块的输出结果作 为在后的一个分析块的输入数据， 多个所述分析块中的最后一个分析块的输出结果作为所 述分析处 理子层的分析 结果。 7.根据权利要求1 ‑6任一项所述的高光谱图像分类方法， 其特征在于， 所述基于各所述 二维特征图对应的各光谱波段间的光谱关联信息进行分类处理， 得到所述初始高光谱图像 对应的分类后高光谱图像， 包括： 将各光谱波段间的光谱关联信 息输入分类模型， 由所述分类模型中的两个全连接层和 一个高斯误差线性单元根据所述光谱关联信息进 行分类， 得到所述初始高光谱图像对应的 高光谱图像分类结果。 8.一种高光谱图像分类装置， 其特 征在于， 所述装置包括： 获取模块， 用于根据初始高光谱图像， 获取多个大小相同的局部图像块， 得到多个基准 图像块， 各 所述基准图像块包括多层特 征图， 各层特 征图包括多个光谱波段； 提取模块， 用于将各所述基准图像块输入预先训练得到的三维残差多层融合网络 中进 行空谱特征提取， 得到由所述三维残差多层融合网络输出 的多个二维特征图， 各所述二维 特征图分别用于表征一个光谱波段的空谱联合特征， 所述空谱联合特征用于表征所述光谱 波段在空间以及光谱上的关联 特征； 分析模块， 用于将各所述二维特征图输入预先训练得到的特征分析网络 中分析各所述 二维特征图对应的各光谱波段间的光谱关联信息；权　利　要　求　书 2/3 页 3 CN 114926694 A 3