(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210535421.9 (22)申请日 2022.05.18 (65)同一申请的已公布的文献号 申请公布号 CN 114639171 A (43)申请公布日 2022.06.17 (73)专利权人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 翟贵乾　李贤超　焦安健　谭连胜　 董玉超　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01)G06T 7/269(2017.01) G06V 10/46(2022.01) (56)对比文件 CN 105303571 A,2016.02.0 3 CN 113920468 A,202 2.01.11 CN 113128344 A,2021.07.16 CN 106878674 A,2017.0 6.20 US 20213982 94 A1,2021.12.23 US 2016086052 A1,2016.0 3.24 Xiaoqi Zhao et.al.Multi-Source Fusi on and Automatic Predictor Selecti on for Zero-Shot Video Object Segmentati on. 《Proceedings of the 2 9th ACM Internati onal Conference o n Multimedia》 .2022, 卢晶等.融合 运动信息的三维视 觉显著性算 法研究. 《计算机 工程》 .2018,(第01期), 审查员 李晗 (54)发明名称 一种停车场全景安全监控方法 (57)摘要 本发明属于停车场安全监控技术领域， 涉及 一种停车场全 景安全监控 方法， 先基于人眼注意 机制， 采用基于运动信息、 对比信息和声音信息 的多模态显著性区域推荐算法检测人眼关注区 域， 同时结合事件重要性权重制定监控内容处理 优先级排名， 对非关注区域降低分辨率的方式节 省资源占用， 从而达到实时全景安全监控的目 的， 并基于安全检测权重以及监控帧间连续性， 制定停车场全 景安全监控， 加快传输和节省保存 空间， 节约成本 。 权利要求书2页 说明书6页 附图1页 CN 114639171 B 2022.07.29 CN 114639171 B 1.一种停车场全景安全监控方法， 其特 征在于， 具体包括如下步骤： (1)采集全景摄像头视频段， 根据采集到的全景摄像头视频段构建停车场全景安全监 控视频数据集； (2)根据停车场全景监控视频数据集分别基于运动信息、 对比信息和声音信息显著性 进行检测； 其中运动信息显著性基于物体在监控视频中前后帧之间的位移关系， 获得物体 相对于背景区域运动的快慢来判断物体状态， 通 过FlowNet2计算相邻两帧(I1， I2)之间的光 流信息获得视频间的运动信息， 光 流信息(u， v)为计算两个 像素点之间的速度差： I(x， y， t)＝ I(x+Δx， y+Δy， t+Δt)， Δx， Δy是像素分别沿x轴和y轴移动的距离， Δt是像素从I1到I2所用的时间， x， y为初 始像素点的坐标位置， t 为移动Δx， Δy需要的时间； 得到光流信息之后， 通过设计光流感知 显著性检测网络MotionNet， 采用DAVSOD作为运动信息感知训练数据集， 将光流特征转化为 运动显著性特 征： Salmotion＝MotionNet(Flow2Color(u， v))， Flow2Color代表将光流图转化为RGB图， 不同颜色表示不同的运动方向， 深浅表示运动 的快慢， Moti onNet将RGB图作为输入， Salmotion为输出的运动显著性检测结果图； 对比信息显著性是基于物体所处的位置、 颜色和 纹理特征， 通过与背景信息以及物体 间的对比突出物体， 采用MSRA10K作为对比信息感知训练数据集， 基于图片的显著 性检测算 法ContrastNet通过网络层的不同层侧输出感知物体的尺度对比信息， Salcontrest＝ContrastNet(Mutiscale(Co lor， Texture， Edge) )， Color、 Texture、 Edge分别代表颜色信息、 纹理信息、 边缘信息， Mutiscale代表多尺度 信息， ContrastNet将MSRA10K 的RGB图作为输入， S alcontrast为输出的对比显著性检测结果 图； 声音信息显著性检测是将声音作 为视觉信息的辅助， 采用AVEDataset作 为声音信息感 知训练数据集， 将音频信息通过傅立叶变换转化为声谱图， 将声谱图输入到网络中， 判定当 前输入中是否含有 声音信息， 从而决定当前帧的重要性， 具体为： Salaudio＝AudioNet(MFCC(Audio))， 其中， MFCC为傅立叶变换， AudioNet将傅立叶变化图作为输入， Salaudio为输出声音显著 性检测结果图； (3)基于运动信息、 对比信息和声音信息的显著性检测结果查找出相应的重要物体， 对 查找出的重要物体进行重要性 排名； 物体重要性 排名通过以下公式实现： 其中Rankk代表第k个物体的排名， N为像素个数， Norm为矩阵最大最小归一化函数， Confidence为物体置信度， 物体置信度Confidence以及物体编号k通过物体检测YoloV5得 到； (4)对排名后的物体进行全景监控视频帧间一致性平滑， 将帧间相同物体连接起来形 成平滑的窗口运动轨 迹； (5)根据步骤(4)形成的不同物体运动轨迹， 将点转化为平面， 通过屏幕 的方式提供单权　利　要　求　书 1/2 页 2 CN 114639171 B 2窗口单一物体或者多窗口 的全景安全内容； (6)针对步骤(5)输出的窗口内容进行动态调 节和人工干预监控内容， 如窗口内容不是 想关注的内容， 只需将鼠标移动到需要关注的物体上， 并点击该物体， 此时以鼠标标记点为 中心， 形成针对中心为投影中心的投影窗口， 并基于此窗口提供后续 监控。 2.根据权利要求1所述停车场全景安全监控方法， 其特征在于， 步骤(1)所述停车场全 景安全监控视频数据集采用显著性检测数据集作为训练集， 在构建训练集的过程中， 先在 完整数据集上训练， 然后再挑选车辆相关的数据集作为微调数据， 使得模型关注车辆、 行人 和障碍物显著性区域， 显著 性检测数据集包括最符合人眼视觉特征且最大的视频显著性检 测数据集DAVSOD、 最符合人眼视觉特征且最大的音对比显著性检测数据集MSRA10K和最符 合人眼视 觉特征且最大的音频显著性检测数据集A VEDataset。 3.根据权利要求2所述停车场全景安全监控方法， 其特征在于， 步骤(4)中帧间一致性 信息为窗口坐标变化5个像素内， 对于超出范围的坐标变化看作超出运动范围的内容， 形成 的运动轨 迹为： Locus＝Smo oth(∑m∈CLocus′(x1， y1， xm， ym))， Locus’代表点的初始轨迹， Locus代表点平滑后的轨迹， Smooth代表轨迹求均值平滑， C 为点x1， y1周围c＝5领域， xm， ym为点x1， y1周围c＝5领域内的像素点。 4.根据权利要求3所述停车场全景安全监控方法， 其特征在于， 步骤(5)中通过下式将 点转化为平面： Window＝Projecti on(Locus)， 其中， windows代表输出窗口， Projecti on代表基于点轨 迹Locus的perspective投影。权　利　要　求　书 2/2 页 3 CN 114639171 B 3