(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666704.9 (22)申请日 2021.12.31 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 申请人 北京迈格威科技有限公司 (72)发明人 张思雨　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 代理人 唐正瑜 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/75(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 目标跟踪方法、 计算机程序产品、 存储介质 及电子设备 (57)摘要 本申请涉及计算机视觉技术领域， 提供一种 目标跟踪方法、 计算机程序产品、 存储介质及电 子设备。 其中， 目标跟踪方法包括： 对待处理视频 的当前帧进行目标检测， 并根据得到的检测框确 定当前帧中的每个目标的多模态特征， 多模态特 征包括位置特征、 表观特征以及运动特征中的至 少一类特征； 根据当前帧中的每个目标的多模态 特征和待处理视频当前可用的每个轨迹片段的 多模态特征， 对当前帧中的所有目标和当前可用 的所有轨迹片段进行匹配。 由于多模态特征从不 同的角度对目标的属性进行了描述， 因此可以更 好地表达不同目标之间的区别以及同一目标之 间的相似性， 从而利用多模态特征进行目标匹配 可以提高多目标跟踪的性能。 权利要求书3页 说明书28页 附图8页 CN 114387304 A 2022.04.22 CN 114387304 A 1.一种目标跟踪方法， 其特 征在于， 包括： 对待处理视频的当前帧进行目标检测， 并根据得到的检测框确定所述当前帧中的每个 目标的多模态特征； 其中， 所述多模态特征包括位置特征、 表观特征以及运动特征中的至少 一类特征； 根据所述当前帧中的每个目标的多模态特征和所述待处理视频当前可用的每个轨迹 片段的多模态特征， 对所述当前帧中的所有目标和当前可用的所有轨迹片段进行匹配； 其 中， 若所述当前帧中的一个目标与当前可用的一个轨迹片段匹配， 则表明该目标与该轨迹 片段对应的目标为同一目标。 2.根据权利要求1所述的目标跟踪方法， 其特征在于， 所述根据 所述当前帧中的每个目 标的多模态特征和所述待处理视频当前可用的每个轨迹片段的多模态特征， 对所述当前帧 中的所有目标和当前 可用的所有轨 迹片段进行匹配， 包括： 根据所述当前帧中的每个目标的多模态特征和当前可用的每个轨迹片段的多模态特 征， 分别计算所述当前帧中的每 个目标与当前 可用的每 个当轨迹片段之间的相似度； 根据计算得到的相似度对所述当前帧中的所有目标和当前可用的所有轨迹片段进行 匹配。 3.根据权利要求2所述的目标跟踪方法， 其特征在于， 所述根据 所述当前帧中的每个目 标的多模态特征和当前可用的每个轨迹片段的多模态特征， 分别计算所述当前帧中的每个 目标与当前 可用的每 个当轨迹片段之间的相似度， 包括： 根据所述当前帧中的每个目标的多模态特征和当前可用的每个轨迹片段的多模态特 征， 利用机器学习模型计算所述当前帧中的每个目标与当前可用的每个当轨迹片段之 间的 相似度。 4.根据权利要求3所述的目标跟踪方法， 其特征在于， 所述机器学习模型为决策树模 型， 所述利用机器学习模型计算所述当前帧中的每个目标与当前可用的每个当轨迹片段之 间的相似度， 包括： 遍历由所述当前帧中的一个目标和当前可用的一个轨迹片段构 成的组合， 对于每个组 合执行以下步骤： 计算所述组合中的目标的每项特征和轨迹片段的对应项特征之间的相似性分数， 得到 由全部的相似性分数构成的相似性向量； 将所述相似性向量输入所述决策树模型， 得到所述组合中的目标和轨迹片段之间的相 似度。 5.根据权利要求4所述的目标跟踪方法， 其特征在于， 所述决策树模型包括有序排列的 多棵决策树， 其中的第一棵决策树用于直接预测所述组合中的目标和轨迹片段之 间的相似 度， 其他任意一棵决策树用于预测排列顺序在自身之前的所有决策树输出的预测结果之和 与真实相似度的残差； 所述将所述相似性向量输入决策树模型， 得到所述组合中的目标和轨迹片段之间的相 似度， 包括： 将所述相似性向量分别输入所述决策树模型中的每棵决策树， 并将每棵决策树输出的 预测结果之和作为所述组合中的目标和轨 迹片段之间的相似度。 6.根据权利要求3所述的目标跟踪方法， 其特征在于， 所述机器学习模型为图神经网络权　利　要　求　书 1/3 页 2 CN 114387304 A 2模型， 所述图神经网络模型包括全局图神经网络和边特 征分类器； 所述利用机器学习模型计算所述当前帧中的每个目标与当前可用的每个当轨迹片段 之间的相似度， 包括： 分别对所述当前帧中的每个目标的多模态特征进行融合， 得到每个目标的特征向量， 以及， 分别对当前可用的每个轨迹片段 的多模态特征进行融合， 得到每个轨迹片段 的特征 向量； 根据所述当前帧中的所有目标和当前可用的所有轨迹片段构建所述全局图神经网络 的图结构； 其中， 所述全局图神经网络的图结构包括： 对应于所述当前帧中的每个目标的节 点、 对应于当前可用的每个轨迹片段的节点、 以及对应于所述当前帧中的每个目标 的节点 和对应于当前 可用的每 个轨迹片段的节点之间的边； 将每个特征向量作为所述全局图神经网络中对应节点的初始特征， 利用所述全局图神 经网络的特征更新函数对节点的特征以及节点之间的边的特征进 行迭代更新， 得到所述全 局图神经网络中边的最终特 征； 分别将每条边的最终特征输入所述边特征分类器， 得到每条边表征的连接关系真实存 在的概率； 其中， 所述 概率为该条边连接的节点对应的目标和轨 迹片段之间的相似度。 7.根据权利要求6所述的目标跟踪方法， 其特征在于， 所述特征更新函数包括边特征更 新函数和节点特征更新函数， 所述利用所述全局图神经网络的特征更新函数对节点的特征 以及节点之间的边的特 征进行迭代更新， 包括： 迭代执行以下步骤 对节点的特 征以及边的特 征进行更新： 针对所述全局图神经网络 中的每条边， 基于该条边的当前特征以及该条边连接的节点 的当前特征， 利用所述 边特征更新函数计算该 条边的新特 征； 针对所述全局图神经网络 中的每个节点， 基于该节点的当前特征以及以该节点为端点 的所有边的新特 征， 利用所述节点特 征更新函数计算该节点的新特 征。 8.根据权利要求6或7所述的目标跟踪方法， 其特征在于， 所述图神经网络模型还包括 局部图神经网络和多层感知机； 所述分别对所述当前帧中的每个目标的多模态特征进行融合， 得到每个目标的特征向 量， 包括： 针对所述当前帧中的每 个目标执行以下步骤： 将所述目标的每项特征作为所述局部图神经网络中对应节点的初始特征， 利用所述局 部图神经网络的特征更新函数对节点的特征以及节点之 间的边的特征进 行迭代更新， 得到 所述局部图神经网络中节 点的最终特征； 其中， 所述局部图神经网络的图结构包括： 对应于 每项特征的节点以及任意两个节点之间的边； 对所有节点的最终特 征进行拼接， 得到拼接特 征； 将所述拼接特征输入所述多层感知机， 得到所述目标的特 征向量。 9.根据权利要求2 ‑8中任一项所述的目标跟踪方法， 其特征在于， 所述根据计算得到的 相似度对所述当前帧中的所有目标和当前 可用的所有轨 迹片段进行匹配， 包括： 根据计算得到的相似度， 按照匹配条件对所述当前帧中的所有目标和当前可用的所有 轨迹片段进行匹配； 其中， 所述匹配条件包括： 使 匹配后所产生的各个组合对应的相似度之和最大， 每个组权　利　要　求　书 2/3 页 3 CN 114387304 A 3