(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210635371.1 (22)申请日 2022.06.06 (71)申请人 中北大学 地址 030051 山西省太原市尖草 坪区学院 路3号 (72)发明人 吉琳娜　杨风暴　郭小铭　 (74)专利代理 机构 太原科卫专利事务所(普通 合伙) 1410 0 专利代理师 朱源 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/776(2022.01) G06V 10/80(2022.01) G06V 20/40(2022.01) G06N 3/00(2006.01) (54)发明名称 红外与可 见光视频的拟态分层融合方法 (57)摘要 本发明涉及可见光和红外视频融合方法， 具 体为红外与可见光视频的拟态分层融合方法。 首 先， 研究拟态章鱼的多拟态变换过程， 剖析其多 拟态原因； 其次分析视频融合一般性过程与 拟态 章鱼多拟态过程之间的相似性， 建立二者间对应 关系， 并确定视频拟态融合过程中的拟态变元类 型及功能； 然后对拟态变元进行分层， 基于余弦 相似性和加权思想构造融合有效度函数来逐层 分析比较不同变元对各类差异特征的融合效果， 从而分层选择最优拟态变元； 最后通过变元间的 优化组合实现红外与可见光视频的拟态分层融 合。 实验结果表明， 本文方法在视频整体保留红 外典型目标和可见光结构细节方面取得了显著 成果， 并且在定量分析和定性评价方面明显优于 其他单一融合方法。 权利要求书2页 说明书13页 附图10页 CN 114998574 A 2022.09.02 CN 114998574 A 1.红外与可 见光视频的拟态分层融合方法， 其特 征在于： 包括以下步骤： 首先是对视频序列每一帧中的感兴趣区域进行划分； 其次是显著帧的选取， 经 过筛选选择感兴趣区域发生显著变化的帧作为显著帧； 再分别计算视频序列中显著帧感兴趣区域各类差异特征的大小， 各类差异特征再进行 归一化处理， 从中得 出每一显著帧对应的主 要差异特 征； 对融合算法、 融合规则、 融合参数、 融合结构四类变元进行分层， 基于余弦相似性和加 权思想构 造融合有效度函数来逐层分析比较不同变元对主要差异特征的融合效果， 即先基 于有效度函数值选择融合算法， 在选择了融合算法的基础上再基于有效度函数值选择融合 规则， 在选择了融合算法、 融合规则的基础上再基于有效度函数值选择融合参数， 在选择了 融合算法、 融合规则和融合参数 的基础上再基于有效度函数值选择融合结构， 最终根据每 一显著帧的主要差异特征优化选择拟态变元， 从而分层选择最优拟态变元， 最后四类最优 拟态变元的变换组合得到最后的融合结果。 2.根据权利要求1所述的红外与可见光视频的拟态分层融合方法， 其特征在于： 计算显 著帧各类差异特征的过程为： 利用平滑窗口对红外与可见光视频序列显著帧逐帧进行不重 叠分块处理， 来提取对应的特征信息， 差异特征 表示两类视频序列 对应帧内特征幅值 的绝对差异度， 其中 分别表示第i帧红外、 可见 光视频序列相应 像素块ξ 的特 征类型r的表征量幅值。 3.根据权利要求2所述的红外与可见光视频的拟态分层融合方法， 其特征在于： 特征类 型r包括亮度、 边缘和纹理细节， 并选择灰度均值、 边缘 强度、 标准差、 平均梯度、 粗糙度和对 比度来作为其表征， 其中灰度均值来量化表征亮度信息； 标准差、 平均梯度、 边缘强度来分 别表示边缘信息中的反差度信息、 边缘的清晰度和边缘幅值 强度信息； 粗糙度、 对比度分别 表征纹理信息的粗 糙性以及像素强度对比的整体布局。 4.根据权利要求3所述的红外与可见光视频的拟态分层融合方法， 其特征在于： 基于余 弦相似性测度和 加权平均思想构造的融合有效度函数为： 表示基于变元Ak得到的视频序列第i帧的融合结果对应像素块ξ的特征类型r的表 征量幅值； 其中局部相似性： 内积：权　利　要　求　书 1/2 页 2 CN 114998574 A 2和 分别为红外与可见光视频序列帧的 权重因子。 5.根据权利要求4所述的红外与可见光视频的拟态分层融合方法， 其特征在于： 融合算 法包括曲波变换CVT、 非下采样剪切波变换NSST、 非下采样轮廓波变换NSCT、 小波包变换 WPT、 静态小 波变换SWT、 拉普拉斯金字塔 变换LP和双树复小 波变换DTCWT， 依次记为A1‑A7。权　利　要　求　书 2/2 页 3 CN 114998574 A 3