(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210240851.8 (22)申请日 2022.03.10 (71)申请人 东华大学 地址 200051 上海市长 宁区延安西路18 82 号 (72)发明人 李南希　韩芳　王青云　 (74)专利代理 机构 北京力量专利代理事务所 (特殊普通 合伙) 11504 专利代理师 刘一霖 (51)Int.Cl. G06T 19/00(2011.01) G06V 20/52(2022.01) G06K 9/62(2022.01) G06V 10/772(2022.01) G06V 10/774(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) H04N 7/18(2006.01) (54)发明名称 一种基于深度学习目标检测的虚拟现实安 防监控平台 (57)摘要 一种基于深度学习目标检测的虚拟现实安 防监控平台， 属于智能安防检测领域。 本发明的 天气分类网络用于对输入图片进行 天气分类， 根 据输出分类结果调用不同图像增强模 型， 图像增 强模型包括暗光增强、 去雨模型和去雾模型， 对 该部分模型进行了改进使其具有更好的处理效 果并符合实时性应用需求。 图像增强模型的输出 将作为YOLOV5网络的输入进行目标检测， 改进 Yolov5目标检测网络的特征提取网络使其更加 轻量化从而满足系统实时性需求。 系统终端基于 UE4引擎开发， 提供三维虚拟界面， 将算法模型部 署在Web服务器， 通过http协议将算法检测结果 返回终端显示， 直观的界面展示效果可以让安防 人员更加快速查看和定位校园实时监控信息 。 权利要求书5页 说明书8页 附图2页 CN 114627269 A 2022.06.14 CN 114627269 A 1.一种基于深度学习目标检测的虚拟现实安防监控平台， 其特 征在于包括如下步骤： 步骤1： 基于N ginx搭建后台音视频服务器， 利用RTMP协议获取远程实时视频数据， 向虚 拟终端进行实时视频数据响应； 基于Flask框架搭建Web后台服务器， 向音视频服务器路 由 地址拉取视频流数据； 步骤2： 构建不同天气状态图像数据集； 采集多幅完好的天气状态图像并进行天气类别 标注作为驱动深度神经网络训练的标签； 天气状态种类分为雾天、 雨天和晴天； 步骤3： 基于轻量级网络模型ShuffleNet训练天气状态分类模型， 对步骤1获取的实时 视频数据进行分帧处理， 将每一帧的图像作为网络的输入， 网络将输出三种天气状态分类 结果； 搭建轻量化神经网络模 型ShuffleNet， 并利用步骤2中构建的天气状态图像数据集进 行训练； 所述轻量化神经网络模型使用分组卷积提取特征， 并对卷积后的通道进 行重排， 在 降低计算量的同时保证模型效率； 设计了一个ShuffleNet单元， 利用1*1分组逐点卷积提取 特征， 然后进 行通道重排； 应用3*3深度卷积和分组逐点卷积匹配与之相连的跳跃连接的通 道数； 步骤4： 设计并联三通道连接器， 分为通道A、 通道B和通道C对图像进行增强操作； 将步 骤3所得到的三种分类结果分别作为连接器的输入， 通道A为除雨通道， 该通道将集成除雨 模型， 输出除雨图像； 通道B为除雾通道， 该通道将集 成除雾模型， 输出除雾图像； 通道C为空 通道， 将输出原 始图像； 三 通道均集成暗光增强算法对暗光图像进行 预处理； 步骤5： 将步骤4完成的图像增强输出作为YOLO  v5检测网络的输入； 所述YOLO  v5的主 干网络， 由Shuffle  channel和Shuffle  block组成， 同时在特征提取的上层结构中采用了4 次slice操作组成了Focus层,将原模型中的普通卷积替换为深度可分离卷积， 激活函数使 用Swin激活函数； 步骤6： 基于UE4引擎开发虚拟终端； 根据校园实景搭建虚拟校园场景， 虚拟终端通过 http协议分别获取实时视频数据和 检测结果数据； 开发虚拟场景漫游功能， 安防人员登录 虚拟终端后可以分别切换至第一人称视角和全局漫游视角对虚拟校园进 行浏览； 根据校园 监控实际位点设置虚拟校园监控位点图标， 根据http响应数据对图表进行不同状态渲染， 利用射线检测原理实现用户对虚拟图标控制， 弹出实时监控画面。 2.根据权利要求1所述的虚拟现实安防监控平台， 其特征在于上述步骤2的具体过程 为： 构建不同天气 状态图像数据集； 通过搜索引擎进 行图像获取， 数据集包括雾天、 雨 天、 晴 天3类天气， 共90 00幅图片， 每 类天气各3 000幅图片， 数据集 面向多场景； 运用镜像、 翻转、 裁剪、 添加高斯噪声丰富数据集， 将3类天气图片 分别扩充至10000幅， 将每一类天气数据选取20％作为测试集不做数据增强处理， 其余80％数据进行数据增强， 作为训练、 验证集 提升样本平衡与多样性。 3.根据权利要求2所述的虚拟现实安防监控平台， 其特征在于上述步骤3的具体过程 为： 基于轻量级网络模 型ShuffleNet训练天气状态分类模 型， 对步骤1获取的实时视频数据 进行分帧处理， 将每一帧的图像作为网络的输入； 同时采用通道混合帮助各组之间信息流 通从而构建出轻量化ShuffleNet网络架构； 此分类模型采用16个ShuffleNet单元和Leaky   ReLU激活函数 搭建天气状态分类模型。 利用ImageNet数据集对该网络进行预训练， 首先将训练集数据作为网络的输入， 分别 进行卷积运算提取图片特征， 形成特征图， 再通过Softmax 特有的逐点分组卷积运算和通道权　利　要　求　书 1/5 页 2 CN 114627269 A 2混合操作向后传播， 经过若干卷积层和池化层后， 使得softmax逼近网络从而预测出结果； 网络的预测值和实际值作为损失函数的输入进行损失计算， 利用梯度下降算法更新网络参 数， 通过不断迭代训练出最佳的天气分类模型。 4.根据权利要求3所述的虚拟现实安防监控平台， 其特征在于上述步骤4的具体过程 为： 步骤4.1： 当天气状态分类模型判断图像为雨天状态时， 图像将作为A通道的输入， 通道 A为除雨通道， 该通道将集成除雨模型， 输出除雨图像； 对原始雨水图像I利用双边滤波算法将原始图像分解为低频部分ILf， 利用I ‑ILf得到 图像的高频部分IHf； 双边滤波器原理为： 其中(i,j)为中心点坐标， f(i,j)为中心点坐标像素值； 点(k,l)为中心点(i,j)邻域S 中的任意一点， σd和σr为平滑参数； f(k,l)为((k,l)点的像素值， 点(k,l)到点(i,j)的空间 距离为d(i,j,k,l)， 灰度差域值矩阵为r(i,j,k,l)， ω(i,j,k,l)为双边滤波的权重矩阵， 各像素点经 过双边滤波输出的像素值 为g(i,j)； 高频部分IHF中包含了背景信息以及噪音， 提取图像HOG特征并且通过稀疏矩阵编码以 及字典学习 得到高频图像字典； 在HOG特征描述子中， 定向梯度方向的分布被用作特征； 在 强度突然变化的区域周围的梯度幅度大， 说明物体边缘比平面区域包含了更多的物体形状 信息； 对IHF进行取块并进行字典学习得到字典D， 使用KMeans最近邻算法将字典分为两类分 别为雨字典和几何字典； 根据雨的先验信息对雨字典再次进行分类， 将误分类部分移除得到最终的雨字典DR1； 根据雨字典DR1恢复出高频图像的雨 成分IHFR， 利用IHF ‑IHFR得到IHFG， 并对IHFG再次进行 双边滤波并使用BM3D算法进 行去噪处理， 得到新的几何分量IHFG， 将IHFG与ILF相加得到最 终的去雨结果； 步骤4.2： 通道B为除雾通道， 该通道将集成除雾模型， 输出除雾图像； 采用的除雾模型是基于改进的DCP算法， 在任何三通道输入图像的局部区域， 至少会有 一个通道中的一个 像素值趋 近于零， 进而得到暗通道 表达式：权　利　要　求　书 2/5 页 3 CN 114627269 A 3