(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210983247.4 (22)申请日 2022.08.16 (71)申请人 四川九洲视讯科技有限责任公司 地址 621000 四川省绵阳市科创区九洲大 道255号2号综合楼 (72)发明人 朱刚　粟栗　李军　熊均　齐艳铭　 (74)专利代理 机构 成都聚蓉众享知识产权代理 有限公司 512 91 专利代理师 孟凡娜 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 40/10(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06F 16/48(2019.01) G06F 16/483(2019.01) G06F 16/487(2019.01) G06F 16/45(2019.01) G06F 16/41(2019.01) G06F 16/901(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多模态融合深度学习的公共安全指挥 智能化处 理方法 (57)摘要 本发明公开了基于多模态融合深度学习的 公共安全指挥智能化处理方法， 属于公共安全指 挥技术领域， 目的在于解决现有公共安全指挥存 在的现场感知不清、 异常预警滞后、 联合联动不 足的问题。 其通过构建支持模态 适配且关系自定 义的元数据模型， 实现多模态、 亿级数据汇聚融 合； 基于跨域跨层流媒体处理配合视频内容分析 与挖掘， 保障媒体传输的平滑性， 提高监控视频 中异常事件时间区段和空间区段定位的准确度， 保证复杂情况下识别准确率。 基于专家知识模型 和深度学习类模型在决策阶段的多模态信息融 合， 大幅提升了研判准确性， 支撑专业研判模型 的实战能力。 本发明适用于基于多模态融合深度 学习的公共安全指挥智能化处 理方法。 权利要求书2页 说明书6页 附图1页 CN 115376045 A 2022.11.22 CN 115376045 A 1.基于多模态融合深度学习的公共安全指挥智能化处理方法， 其特征在于， 包括以下 步骤： (1)针对多模态数据集， 构建支持模态适配且关系自定义的元数据模型， 实现各类原始 异构数据的抽取汇聚； (2)构建面向大规模全样本数据源的数据集质量评估模型， 对数据集进行自动化质量 评估； (3)构建时空分片的数据一致性分析模型对跨模态目标实体同一性进行识别和判定， 形成目标实体的真值 概率分布； (4)基于知识图谱的数据统一表达模型P＝(O,R,G)， 形成基于统计机器学习的数据融 合要素， 通过动态关联聚合的数据映射实现多模态数据融合； (5)构建统一的元数据管理体系为不同类型的数据源提供统一数据分级分类管理体 系， 实现数据统一存 储和服务； (6)跨域跨层流媒体处理： 基于人眼视觉感知中的自由能量原则， 按照流媒体成分特征 进行模态分离和模态融合， 通过全局视觉感知的流媒体编码模型、 基于时间戳的缓存区机 制优化、 可变长环形缓存区设计保障媒体传输的平 滑性； (7)视频内容分析与挖掘 :基于变分自编码器提取比浅层人工特征更具内涵的特征， 利 用隐含空间信息稀疏重构对测试样本异常程度进 行评分， 提高监控视频中异常事件时间区 段和空间区段定位 准确度； (8)采用基于自步学习和深度强化学习考虑训练样本的顺序和权重以选取最具有区分 率的特征， 并结合时间空间信息双流结构进行行人再识别， 提高不同光照情况下识别准确 率； 实现复杂指挥场景 下异常事 件检测和目标关联检索； (9)多模态数据通过特征信息融合器， 依据支持度、 置信度、 提升度及可信度指标进行 分析， 构建从特征多模态信息到训练多模态信息的映射， 使得多模态信息的显著特征得以 交互和验证； (10)通过深层神经网络持续训练实现网络模型及参数迭代优化， 构建深度学习模型； 基于动态权重分配因子实现专家知识模型和深度学习类模型在决策阶段 的多模态信息融 合； (11)通过决策信息融合器， 生成实战化业务模型， 提供实战化最优决策方案， 完成公共 安全指挥。 2.按照权利要求1所述的基于多模态融合深度学习的公共安全指挥智能化处理方法， 其特征在于， 所述 步骤(1)中， 各类原 始异构数据的抽取汇聚的具体步骤为： 步骤a， 对原 始异构数据进行 元数据抽取； 步骤b， 定义抽取后的元 数据的关系， 并形成与之对应的元 数据模型； 步骤c， 将形成的元 数据模型以图形 方式存储在数据库中。 3.按照权利要求1所述的基于多模态融合深度学习的公共安全指挥智能化处理方法， 其特征在于， 所述步骤(6)中， 流媒体成分特征包括动静信息成分、 音视频成分、 高低频成 分。 4.按照权利要求1所述的基于多模态融合深度学习的公共安全指挥智能化处理方法， 其特征在于， 所述步骤(11)中， 实战化业务模 型包括特征画像、 态势感知、 异常预警、 预测分权　利　要　求　书 1/2 页 2 CN 115376045 A 2析、 轨迹研判、 落查布控、 防控圈层。权　利　要　求　书 2/2 页 3 CN 115376045 A 3