(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210260542.7 (22)申请日 2022.03.16 (71)申请人 西安电子科技大 学广州研究院 地址 510555 广东省广州市黄埔区中新知 识城海丝中心B5、 B6、 B7栋 (72)发明人 刘静　何奎奎　冯辉　刘晓涛　 (74)专利代理 机构 广州大象飞扬知识产权代理 有限公司 4 4745 专利代理师 陈婉滢 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习和聚类人群异常聚集的 检测方法 (57)摘要 本发明本发明涉及人群异常检测方法技术 领域， 公开了一种基于深度学习和聚类的聚集人 群异常的检测方法， 其技术方案要点是： 利用 YOLOv5方法提取视 频中的所有行人， 随后利用聚 类算法选 取聚集的行人， 经过FlowNet2处理后输 入到DeepOC模型 获得异常检测结果， 通过高精度 目标检测方法将行人与背景分开， 通过聚集算法 挑选参与聚集的行人， 通过学习聚集人群的外观 特征和时域特征， 判断融合时空特征是否为离群 点， 是则为异常聚集人群， 否则为正常， 实现人群 异常聚集检测； 本发明解决了 现实监控视频录像 中的人群异常聚集问题。 权利要求书2页 说明书7页 附图1页 CN 114677638 A 2022.06.28 CN 114677638 A 1.一种基于深度学习和聚类的聚集人群异常的检测方法， 其特征在于， 利用YOLOv5方 法提取视频中的所有行人， 随后利用聚类算法选取聚集的行人， 经过FlowNet2处理后输入 到DeepOC模型获得异常检测结果， 具体步骤 包括如下： (1)使用YOLOv5检测并截取出视频中的行人， 将所有Bounding  Box(x0,y0,x 1,y1)信息 保存为List_bbx。 (2)使用聚集 算法检测聚集人群， 并选取 出参与聚集的行 人； (2a)按顺序计算List_bbx中所有元素的对角线距离平方R， 并按顺序存储为List_r， 计 算方式如下公式： R＝(x1‑x0)2+(y1‑y0)2 其中， x0,y0和x1,y1,分别为Boundi ng Box的左上角和右下角横纵坐标。 (2b)按顺序计算List_bbx中所有元素 的中心点C(c_x,c_y)， 并按顺序存储为List_c， 计算方式如下公式： 其中， x0,y0和x1,y1,分别为Boundi ng Box的左上角和右下角横纵坐标。 (2c)对于List_c中的一点， 将其加入空列表List_tmp， 计算该点与其他任意一点之间 的距离平方D， 计算方法如下： D＝(c_x1 ‑c_x0)2+(c_y1‑c_y0)2 其中， c_x0,c_y0和c_x1,c_y1分别表示任意两个Bounding  Box的中心点横纵坐标。 定 义一个调节 参数λ， 若D< λR， 则将该点加入List _tmp， 否则换下一个点， 若所有List_c遍历完 毕， 则将L ist_tmp加入L ist_Cluster并清空L ist_tmp； (2c)循环(2b)步骤， 直至计算完毕L ist_c中任意两点之间的距离； (2d)对于List_Cluster中任意两个子列表， 若两者交集为非空， 则将两子列表合并， 最 后滤除所有长度小于2的子列表， 之后输出List _Cluster， 并通过Li st_cluster中保存的索 引值在List_bbx中提取 出相应行 人的Boundi ng Box。 (3)使用Fl owNet2计算每个被选中的行 人的光流信息； (3a)根据每个行人第一帧的Bounding  Box坐标截取接下来连续的16帧图像， 重采样所 有图像大小64 ×32pixel， 并存 储为List1； (3b)复制上一步的List1为List2， 并将List2的第一帧删除， 并复制最后一帧添加到 List2的最后； (3c)将List1和List2分别按’Z’型顺序拼接成4 ×4(图像)的拼接图A和B。 (3d)A作为第一帧， B作为第二帧输入到FlowNet2模型中， 输出两张张量Flow_x和Flow_ y分别描述横纵方向上的行 人运动模式； (4)数据预处 理： (4a)将A归一 化到[0,1]区间内； (4b)将A、 Fl ow_x和Flow_y分别按 ’Z’型顺序拆分为16张64 ×32的图像；权　利　要　求　书 1/2 页 2 CN 114677638 A 2(4c)将A拆分后的16张图像按顺序存 储为List_A； (4d)将Flow_x和Flow_y拆分后的32张图像(f_x,f_y)， 以一张f_x和一张f_y的顺序间 隔存储为列表L ist_M； (5)异常检测： (5a)训练阶段： 将List_A和List_M输入D eepOC模型， 使得损失函数优化至最小， 等到模 型收敛， 保存训练好的模型； (5b)测试阶段： 加载训练好的模型， 将List_A和List_M输入DeepOC模型， 若提取到的特 征中存在离群点， 则报警出现异常， 否则为 正常。权　利　要　求　书 2/2 页 3 CN 114677638 A 3