(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210590089.6 (22)申请日 2022.05.26 (71)申请人 深圳万兴软件 有限公司 地址 518000 广东省深圳市南 山区粤海街 道软件产业基地5 栋D座1001 (72)发明人 焦小珍　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 李珂 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/80(2022.01) G06T 3/40(2006.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 视频目标的特征提取方法、 装置、 计算机设 备及储存介质 (57)摘要 本申请涉及视频分割技术领域， 揭露一种视 频目标的特征提取方法、 装置、 计算机设备及储 存介质， 其中方法包括获取视频中的当前帧图 像， 并将当前帧图像进行逐层提取特征， 得到第 一至第四分辨率特征图； 将第二 分辨率特征图进 行卷积处理和注意力计算， 得到第二权重特征 图； 将第一分辨率特征图进行卷积处理， 并将第 一卷积特征图与第二卷积特征图特征融合， 将得 到的第一输出特征图与第三分辨率特征图进行 级联处理， 得到第二输出特征图， 并将第四分辨 率特征图作为第三输出特征图； 将 输出特征图进 行下采样处理、 级联处理以及卷积处理， 得到第 一目标特征图、 第二目标特征图以及第三目标特 征图。 本发 明有利于提高视频目标的特征提取效 率。 权利要求书3页 说明书10页 附图5页 CN 114973088 A 2022.08.30 CN 114973088 A 1.一种视频目标的特 征提取方法， 其特 征在于， 包括： 获取视频中的当前帧图像， 并将所述当前帧图像进行逐层提取特征， 依次得到第一分 辨率特征图、 第二分辨 率特征图、 第三分辨 率特征图以及第四分辨 率特征图； 将所述第二分辨率特征图进行卷积处理， 得到第二卷积特征图， 并基于所述第一分辨 率特征图， 对所述第二卷积特 征图进行注意力计算， 得到第二权 重特征图； 将所述第一分辨率特征图进行卷积处理， 得到第一卷积特征图， 并将所述第一卷积特 征图与所述第二权重特征图相乘处理， 得到第一权重特征图， 且将所述第一权重特征图与 所述第二卷积特 征图进行 特征融合， 得到第一输出 特征图； 通过将所述第 一输出特征图与所述第 三分辨率特征图进行级联处理， 得到第 二输出特 征图， 并将所述第四分辨 率特征图作为第三输出 特征图； 基于所述当前帧图像， 将所述第一输出特征图、 所述第二输出特征图以及所述第三输 出特征图进行下采样处理和级联处理， 得到第一基础特征图、 第二基础特征图以及第三基 础特征图； 通过将所述第 一基础特征图、 所述第 二基础特征图以及所述第 三基础特征图分别进行 卷积处理， 得到第一目标 特征图、 第二目标 特征图以及第三目标 特征图。 2.根据权利要求1所述的视频目标的特征提取方法， 其特征在于， 所述将所述第 二分辨 率特征图进 行卷积处理， 得到第二卷积特征图， 并基于所述第一分辨率特征图， 对所述第二 卷积特征图进行注意力计算， 得到第二权 重特征图， 包括： 将所述第二分辨 率特征图进行 卷积处理， 得到所述第二卷积特 征图； 将所述第一分辨 率特征图放大 预设倍数， 得到第一分辨 率特征放大图； 通过将所述第 二卷积特征图与所述第 一分辨率特征放大图进行级联处理， 得到级联处 理结果， 并将所述级联处 理结果进行 卷积处理， 得到第二级联 特征图； 通过对所述第二级联 特征图进行注意力计算， 得到所述第二权 重特征图。 3.根据权利要求2所述的视频目标的特征提取方法， 其特征在于， 所述通过对所述第 二 级联特征图进行注意力计算， 得到所述第二权 重特征图， 包括： 通过对所述第二级联特征图进行平均池化处理， 得到池化后的特征图， 并对所述池化 后的特征图进行 卷积处理， 得到初始权 重特征图； 将所述初始权 重特征图分别进行归一 化处理和激活 处理， 得到所述第二权 重特征图。 4.根据权利要求1所述的视频目标的特征提取方法， 其特征在于， 将所述将所述第 一分 辨率特征图进行卷积处理， 得到第一卷积特征图， 并将所述第一卷积特征图与所述第二权 重特征图相乘处理， 得到第一权重特征图， 且将所述第一权重特征图与所述第二卷积特征 图进行特征融合， 得到第一输出 特征图， 包括： 将所述第一分辨 率特征图进行 卷积处理， 得到所述第一卷积特 征图； 将所述第一卷积特 征图与所述第二权 重特征图相乘处 理， 得到第一权 重特征图； 通过将所述第一权 重特征图放大 预设倍数， 得到第一权 重特征放大图； 基于所述第 二权重特征图的权重信 息， 将所述第 一权重特征放大图与 所述第二卷积特 征图进行 特征融合， 得到第一输出 特征图。 5.根据权利要求4所述的视频目标的特征提取方法， 其特征在于， 所述基于所述第 二权 重特征图的权重信息， 将所述第一权重特征放大图与所述第二卷积特征图进行特征融合，权　利　要　求　书 1/3 页 2 CN 114973088 A 2得到第一输出 特征图， 包括： 基于第二权 重特征图的权 重信息确定第二卷积特 征图的权 重信息； 将所述第一权重特征放大图与所述第 二卷积特征图进行相乘 处理， 得到相乘结果特征 图， 并将所述相乘结果特 征图与所述第二卷积特 征图进行相加处 理， 得到融合特 征图； 对所述融合特 征图进行 卷积处理， 得到所述第一输出 特征图。 6.根据权利要求1所述的视频目标的特征提取方法， 其特征在于， 所述通过将所述第 一 输出特征图与所述第三分辨率特征图进行级联处理， 得到第二输出特征图， 并将所述第四 分辨率特征图作为第三输出 特征图， 包括： 将所述第一输出 特征图放大 预设倍数， 得到第一输出 特征放大图， 将所述第一输出特征放大图与所述所述第 三分辨率特征图进行级联处理， 得到级联结 果； 通过对所述级联结果进行卷积处理， 得到所述第二输出特征图， 并将所述第 四分辨率 特征图作为第三输出 特征图。 7.根据权利要求1所述的视频目标的特征提取方法， 其特征在于， 所述基于所述当前帧 图像， 将所述第一输出特征图、 所述第二输出特征图以及所述第三输出特征图进行下采样 处理和级联处 理， 得到第一基础特 征图、 第二基础特 征图以及第三基础特 征图， 包括： 基于所述当前帧图像， 将所述第一输出特征图、 所述第二输出特征图以及所述第三输 出特征图进行 下采样处 理， 得到第一采样结果、 第二采样结果以及第三采样结果； 将所述第一采样结果与所述第一输出特征图进行级联处理， 得到所述第一基础特征 图； 将所述第二采样结果与所述第二输出特征图进行级联处理， 得到所述第二基础特征 图； 将所述第三采样结果与所述第三输出特征图进行级联处理， 得到所述第三基础特征 图。 8.一种视频目标的特 征提取装置， 其特 征在于， 包括： 特征图提取模块， 用于获取视频中的当前帧图像， 并将所述当前帧图像进行逐层提取 特征， 依次得到第一分辨率特征图、 第二分辨率特征图、 第三分辨率特征图 以及第四分辨率 特征图； 第二权重特征图生成模块， 用于将所述第二分辨率特征图进行卷积处理， 得到第二卷 积特征图， 并基于所述第一分辨率特征图， 对所述第二卷积特征图进 行注意力计算， 得到第 二权重特征图； 第一输出特征图生成模块， 用于将所述第一分辨率特征图进行卷积处理， 得到第一卷 积特征图， 并将所述第一卷积特征图与所述第二权重特征图相乘处理， 得到第一权重特征 图， 且将所述第一权 重特征图与所述第二卷积特 征图进行 特征融合， 得到第一输出 特征图； 第二输出特征图生成模块， 用于通过将所述第 一输出特征图与 所述第三分辨率特征图 进行级联处 理， 得到第二输出 特征图， 并将所述第四分辨 率特征图作为第三输出 特征图； 基础特征图生成模块， 用于基于所述当前帧图像， 将所述第 一输出特征图、 所述第二输 出特征图以及所述第三输出特征图进行下采样处理和级联处理， 得到第一基础特征图、 第 二基础特 征图以及第三基础特 征图；权　利　要　求　书 2/3 页 3 CN 114973088 A 3