(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211283221.5 (22)申请日 2022.10.19 (71)申请人 中国科学院空天信息创新研究院 地址 100190 北京市海淀区北四环西路19 号 申请人 南京邮电大 学 (72)发明人 周增光　袁媛　李子扬　辛淇　 李传荣　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 王文思 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 多源遥感时序数据的融合特征提取方法及 装置 (57)摘要 本发明提供一种多源遥感时序数据的融合 特征提取方法及装置， 方法包括： 将多源遥感时 序数据样本的每个数据源输入对应的空间编码 器， 以提取每个数据源的空间特征向量序列； 分 别将每个数据源的空间特征向量序列输入同一 个时间编码器， 以提取每个数据源的第一时空特 征向量； 分别将每个数据源的第一时空特征向量 输入同一个映射头进行降维， 得到第二时空特征 向量； 根据多源遥感时序数据样 本中每个数据源 的第二时空特征向量， 计算监督对比损失； 利用 监督对比损失对每个数据源输入对应的空间编 码器的参数、 时间编码器的参数和映射头的参数 进行迭代训练， 得到特征提取模型； 利用特征提 取模型对待处理的多源遥感时序数据进行特征 提取， 得到融合时空特 征。 权利要求书3页 说明书10页 附图3页 CN 115527122 A 2022.12.27 CN 115527122 A 1.一种多源遥感时序数据的融合特 征提取方法， 其特 征在于， 包括： 将多源遥感时序 数据样本的每个数据源输入各自对应的空间编码器， 以提取每个数据 源的空间特 征向量序列； 分别将每个数据源的空间特征向量序列输入同一个时间编码器， 以提取每个数据源的 第一时空特 征向量； 分别将每个数据源的第 一时空特征向量输入同一个映射头进行降维， 得到第 二时空特 征向量； 根据所述多源遥感时序 数据样本 中每个数据源的第 二时空特征向量， 计算监督对比损 失； 利用所述监督对比损失对所述每个数据源输入各自对应的空间编码器的参数、 所述 时 间编码器的参数和所述映射头的参数进 行迭代训练， 得到特征提取模 型， 其中， 所述特征提 取模型由多个空间编码器和一个时间编码器构成； 利用所述特征提取模型对待处理的多源遥感时序 数据进行特征提取， 得到所述待处理 的多源遥感时序数据的融合时空特 征。 2.根据权利要求1所述的多源遥感时序 数据的融合特征提取方法， 其特征在于， 所述将 多源遥感时序数据样本的每个数据源输入各自对应的空间编码器， 以提取每个数据源的空 间特征向量序列， 具体包括： 对于每个数据源， 将该数据源在各时刻的观测值输入该数据源对应的空间编码器， 得 到该数据源在各时刻 对应的空间特征向量， 所有时刻 对应的空间特征向量构成该数据源的 空间特征向量序列。 3.根据权利要求2所述的多源遥感时序 数据的融合特征提取方法， 其特征在于， 在所述 观测值为像素的情况 下， 所述空间编码器选择多层全连接网络； 在所述观测值 为规则图像块的情况 下， 所述空间编码器选择 卷积神经网络； 在所述观测值为不规则图斑的情况下， 所述空间编码器选择像素集编码器或卷积神经 网络。 4.根据权利要求1所述的多源遥感时序 数据的融合特征提取方法， 其特征在于， 所述 时 间编码器为循环神经网络、 卷积神经网络或自注意力网络中的任意一种， 所述时间编码器 对所有数据源 共享学习参数； 所述映射头多个全连接层组成， 每个全连接层的输入维度大于等于输出维度， 所述时 间编码器对所有数据源 共享学习参数。 5.根据权利要求1所述的多源遥感时序 数据的融合特征提取方法， 其特征在于， 所述根 据所述多源遥感时序数据样本的类别标签和每个数据源的第二时空特征向量， 计算监督对 比损失， 具体包括： 将多源遥感时序数据样本的每 个数据源作为 一个实例； 以每个实例为锚点， 根据所述类别标签确定与该锚点属于同一类别的实例作为 正例； 基于确定的实例分类， 根据训练批次中的所有实例对应的第 二时空特征向量计算所述 监督对比损失。 6.根据权利要求5所述的多源遥感时序 数据的融合特征提取方法， 其特征在于， 所述基 于确定的实例分类， 根据训练批次中的所有实例对应的第二时空特征向量计算所述监督对权　利　要　求　书 1/3 页 2 CN 115527122 A 2比损失， 具体包括： 根据 计算所述监督损失比Loss， 其中， i表示的编号， L表示一个训练批次实例的数量， 将第i 个实例作为锚点， A(i)表 示该训练批次中除第i个实例以外的所有实例的集合， P(i)表 示所 述多源遥感时序数据样本平衡时A(i)中所有正例的集合或所述多源遥感时序数据样本不 平衡时从A(i)中随机抽取K个 正例的集合， zi表示第i个实例对应的第二时空特征向量， za表 示A(i)中第a个实例对应的第二时空特征向量， zp表示P(i)中第p个实例对应的第二时空特 征向量， yi表示第i个实例的类别标签， |P(i)|表示P(i)中实例的数量， τ 为大于零的常数。 7.根据权利要求1所述的多源遥感时序 数据的融合特征提取方法， 其特征在于， 所述利 用所述特征提取模型对待处理的多源遥感时序数据进 行特征提取， 得到所述处理的多源遥 感时序数据的融合时空特 征具体包括： 对待处理的多源遥感时序数据的每 个数据源进行 标准化处理； 将标准化处理后的待处理的多源遥感时序 数据输入所述特征提取模型进行特征提取， 得到每个数据源遥感时序数据分别对应的第三时空特 征向量； 将同一地物对应的各个数据源遥感时序数据分别对应的第 三时空特征向量进行拼接， 得到待处 理的多源遥感时序数据的融合时空特 征。 8.一种多源遥感时序数据的融合特 征提取装置， 其特 征在于， 包括： 第一特征提取模块， 用于将多源遥感时序 数据样本的每个数据源输入各自对应的空间 编码器， 以提取每 个数据源的空间特 征向量序列； 第二特征提取模块， 用于分别将每个数据源的空间特征向量序列输入同一个时间编码 器， 以提取每 个数据源的第一时空特 征向量； 降维模块， 用于分别将每个数据源的第一时空特征向量输入 同一个映射头进行降维， 得到第二时空特 征向量； 计算模块， 用于根据所述多源遥感时序数据样本中每个数据源的第二时空特征向量， 计算监督对比损失； 训练模块， 用于利用所述监督对比损失对所述每个数据源输入各自对应的空间编码器 的参数、 所述时间编码器的参数和所述映射头的参数进行训练， 得到特征提取模型， 其中， 所述特征提取模型由多个空间编码器和一个时间编码器构成； 特征融合模块， 用于利用所述特征提取模型对待处理的多源遥感时序 数据进行特征提 取， 得到所述处 理的多源遥感时序数据的融合时空特 征。 9.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 存储器， 用于存 储一个或多个程序， 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现权利要求1至7中任一项所述的方法。权　利　要　求　书 2/3 页 3 CN 115527122 A 3