(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210836154.9 (22)申请日 2022.07.15 (71)申请人 浙江大学 地址 310058 浙江省杭州市余杭塘路86 6号 (72)发明人 林峰　鲁昱舟　 (74)专利代理 机构 安徽合肥华信知识产权代理 有限公司 341 12 专利代理师 余成俊 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/26(2022.01) G06V 10/50(2022.01) G06V 10/774(2022.01) G06T 7/73(2017.01) (54)发明名称 一种基于半监督视频目标分割的跳绳计数 方法 (57)摘要 本发明公开了一种基于半监督视频目标分 割的跳绳计数方法， 包括以下步骤： 步骤1、 获取 跳绳运动的原始视频数据并提取出每一帧图像 数据； 步骤2、 基于半监督视频目标分割方法， 从 步骤1得到的每一帧图像数据中分割出单人或多 人跳绳人物图像； 步骤3、 从每个跳绳人物图像中 确定人物手部与绳子的相对位置， 基于相对位置 关系得到每个跳绳人物的跳绳计数。 本发明具有 数据处理量小、 数据处理过程简便的优点， 不仅 可以对单人跳绳进行计数， 而且 可以对多人跳绳 进行实时计数， 具有很高的应用价 值。 权利要求书2页 说明书5页 附图5页 CN 115171019 A 2022.10.11 CN 115171019 A 1.一种基于半监 督视频目标分割的跳绳计数 方法， 其特 征在于， 包括以下步骤： 步骤1、 获取跳绳运动的原 始视频数据， 并从原 始视频数据中提取 出每一帧图像数据； 步骤2、 基于半监督视频目标分割方法， 采用STCN分割网络， 引入特征逐像素随机失活 机制， 从步骤1得到的每一帧图像数据中分割出跳绳人物图像， 其中： 当每一帧图像数据中人物为单个时， 基于半监督视频目标分割方法以及特征逐像素随 机失活机制， 从每一帧图像数据中分割得到单个跳绳人物图像； 当每一帧图像数据中人物为多个时， 基于半监督视频目标分割方法以及特征逐像素随 机失活机制， 先分割得到所有人物Mask图的像素分布， 再从每一 帧Mask图像数据中对各个 跳绳人物进行分块， 由此 得到每一帧图像数据中各个跳绳人物图像； 步骤3、 从步骤2得到的每一帧对应的每个跳绳人物图像 中确定人物手部与绳子的相对 位置， 然后统计所有帧每个跳绳人物图像中手部与绳子相对位置变化次数， 由此得到每个 跳绳人物的跳绳计数。 2.根据权利要求1所述的一种基于半监督视频目标分割的跳绳计数方法， 其特征在于， 步骤2中， 首先对STCN分割网络使用静态图像与各种视频序列中的连续/间断帧进 行分割能 力训练， 使其能分割 出大量不同种类的人物/物体， 然后再应用于跳绳视频序列中， 分割出 单人/多人跳绳Mask图像； 训练分为两个阶段， 第一个阶段为预训练阶段， 预训练阶段中从步骤1得到的各帧图像 数据中抽取若干图像数据， 然后基于特征逐像素失活机制进行训练； 第二阶段为公开数据 集训练阶段， 公开数据集训练阶段采用公开的数据集， 两个训练阶段中均纳入了特征逐像 素失活机制。 3.根据权利要求1所述的一种基于半监督视频目标分割的跳绳计数方法， 其特征在于， 步骤2中当每一帧图像数据中人物为多个时， 根据Mask图的像素分布， 从左至右按列进 行像 素统计， 以完成分块， 过程如下： 步骤2‑1、 在STCN分割网络分割得到的包含人物与绳子的Mask图中从左至右方向的第 一列开始， 当某一列中不存在人物像素点时， 继续向右列检测， 当开始检测到人物像素时， 标记为人物0， 并持续向右检测人物、 绳子像素存在情况直至人物消失， 当绳子像素存在列 数密度值超过预设阈值时， 判定该人物为跳绳者， 否则判定为旁观 者或计数员等非跳绳者， 人物0判定结束； 步骤2‑2、 继续向右检测， 直至再次检测到人物像素， 标记为人物1， 向右直至像素列中 人物消失， 统计包 含绳子像素的列数， 以判断人物为跳绳者， 或是其 他无关人物； 步骤2‑3、 重复上述 步骤2‑1、 2‑2， 直至最后一列像素列， 最终完成跳绳人物的分块。 4.根据权利要求1所述的一种基于半监督视频目标分割的跳绳计数方法， 其特征在于， 步骤3中， 记录每一帧对应的每个跳绳人物图像中人物手部与绳子的相对位置， 并依此构建 针对于该视频序列的记忆库， 该记忆库为程序中即时创建的一个类， 用于存取视频帧中每 个跳绳人物图像中手部与绳子相对位置变化次数， 由此 得到每个跳绳人物的跳绳计数。 5.根据权利要求4所述的一种基于半监督视频目标分割的跳绳计数方法， 其特征在于， 所述记忆库的构建过程如下： （1） 、 在每一帧对应的每个跳绳人物图像中， 找到左、 右手最外侧像素在图像中所处的权　利　要　求　书 1/2 页 2 CN 115171019 A 2对应高度值 、 ， 取平均值作为手部在图像中的高度位置 ,即 ； （2） 、 通过高度位置 为上、 下两部分， 收集上、 下两部分对应的绳子 像素数量 ； （3） 、 用 与 的差值 （ 作为最终判定值， 正数表明绳子在人物手部上方， 负数表 明绳子在人物手部下 方， 由此得到每个跳绳人物图像中人物手部与绳子的相对位置状态； （4） 、 记录步骤 （3） 得到的所述相对位置状态， 并以此组建为记 忆库。权　利　要　求　书 2/2 页 3 CN 115171019 A 3