(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221097595 5.3 (22)申请日 2022.08.15 (71)申请人 华东师范大学 地址 200241 上海市闵行区东川路5 00号 申请人 同济大学 (72)发明人 李钦　黄震　王晓玲　 (74)专利代理 机构 上海麦其知识产权代理事务 所(普通合伙) 31257 专利代理师 董红曼 (51)Int.Cl. G06F 30/20(2020.01) G06V 20/58(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 20/70(2022.01) (54)发明名称 一种基于模型检测的自动驾驶领域安全攸 关对抗样本生成方法及生成系统 (57)摘要 本发明公开了一种基于模型检测的自动驾 驶安全攸关对抗样本生成方法， 包括如下步骤： 步骤一、 建模： 使用UPPAAL模型检测工具建模自 动驾驶系统及交通场景； 步骤二、 性质刻画及验 证分析： 使用UPPAAL模型检测工具刻画安全性 质， 运行UPPAAL模型检测工具中的模型检测器并 分析以获得对抗攻击的语义信息； 步骤三、 对抗 攻击： 结合攻击的语义信息以及对抗攻击算法攻 击自动驾驶系统生成安全攸关的对抗样本； 步骤 四、 仿真： 将安全攸关的对抗样本与原始样本替 换， 在仿真器中模拟运行 以观察攻击的结果。 本 发明生成方法生成的对抗样本既能使得神经网 络出错也能够确保自动驾驶车辆发生安全事故。 本发明还公开了一种实现上述对抗样本生成方 法的系统。 权利要求书2页 说明书10页 附图6页 CN 115495875 A 2022.12.20 CN 115495875 A 1.一种基于模型检测的自动驾驶安全攸关对抗样本生成方法， 其特征在于， 所述方法 包括如下步骤： 步骤一、 建模： 使用UP PAAL模型检测工具建模自动驾驶系统及交通场景； 步骤二、 性质刻画及验证分析： 使用UPPAAL模型检测工具刻画安全性质， 运行模型检测 工具中的模型检测器并分析以获得对抗 攻击的语义信息； 步骤三、 对抗攻击： 结合攻击的语义信息以及对抗攻击算法攻击自动驾驶系统生成安 全攸关的对抗样本； 步骤四、 仿真： 将安全攸关的对抗样本与原始样本替换， 在仿真器 中模拟运行以观察攻 击的结果。 2.如权利要求1所述的对抗样本生成方法， 其特征在于， 步骤一中， 所述自动驾驶系统 包括感知系统、 行为决策及规划系统、 控制系统； 所述交通场景包括道路信息、 其他车辆、 交 通灯。 3.如权利要求1所述的对抗样本生成方法， 其特征在于， 当建模完成后， 必须要先验证 模型中正 常情况下是安全的， 即(i sOpNormal∧dist(auto,ot her)≥D) →！ collision， 表示 当障碍物感知系统始终正确运行时， 自动驾驶车辆将永远不会与其 他车辆发生碰撞； 其中， isOpNormal是UPPAAL模型检测工具中的一个全局变量， 它代表障碍物感知系统 是否工作正常， 如果是false说明障碍物感知系统失效； auto是AV模板的一个模板实例； other是NAV模板的一个模板实例； dist(auto,other)函数计算auto和other的相对距离； D 是高级紧急制动系统自动机AEBS的制动安全距离； collision是一个全局变量， 它代表自动 驾驶车辆是否与其 他车辆发生碰撞。 4.如权利要求1所述的对抗样本生成方法， 其特征在于， 步骤二中， 所述安全性质通过 以下两个式子刻画： ！ isOpNormal∧dist(auto,other)≤d1→collision， 表示当自动驾驶车辆与其他车辆的相对距离小于等于d1时， 如果障碍物感知系统此时 失效， 最终自动驾驶车辆会发生碰撞； ！ isOpNormal∧dist(auto,other)≥d2→！ collision， 当自动驾驶车辆与其他车辆的相对距离 大于等于d2时， 即使障碍物感知系统失效， 自动 驾驶车辆也 不会发生碰撞； 所述d1和d2通过查询UP PAAL求解获得。 5.如权利要求1所述的对抗样本生成方法， 其特征在于， 步骤二中， 所述UPPAAL模型检 测工具由描述语言、 模拟器和模型检测器组成； 所述描述语言是带有数据类型的非确定性防卫命令语言， 将系统行为描述为 时间自动 机网络； 所述数据类型包括整型、 数组； 所述模拟器是一种验证工具， 在早期建模阶段检查系统可能的动态行为； 所述模型检测器通过遍历系统的状态空间去验证系统的性质。 6.如权利要求1所述的对抗样本生成方法， 其特征在于， 步骤二中， 所述语义信息是指 能够持续 地执行目标消失攻击导 致自动驾驶车辆发生碰撞的有效攻击时间。 7.如权利要求1所述的对抗样本生成方法， 其特征在于， 步骤三中， 所述对抗攻击算法 包括TOG算法、 U‑DOS攻击算法；权　利　要　求　书 1/2 页 2 CN 115495875 A 2所述自动驾驶系统通过时间自动机TA网络建模获得， 通过参数实例化TA模板， 能够根 据不同的参数产生适应不同场景的不同模型； 所述TA网络由一个或多个时间自动机组成， 所述时间自动机之间 并行执行。 8.如权利 要求7所述的对抗样本生成方法， 其特征在于， 所述TA模板由位置Locations、 边Edges、 局部变量声明、 参数组成； 所述位置在图形界面上是一个圆， 如果将时间自动机看作有向图， 则位置代表有向图 的顶点； 所述边是不同的位置之间带有注释的有向边， 注释由选择Selections、 防卫Guards、 同 步Synchronisations、 更新Updates组成； 所述选择能够非确定性 地从给定有界整数域中选择值绑定 到标识符变量； 所述防卫必须 是时钟变量组成的简单 条件或者是布尔表达式的合取 形式； 所述同步的形式是e！ 或e？ 或为空， 其中e是一个管道channel变量， e！ 和e？ 是一个互补 的同步标签； 两个执 行的自动机在标有互补的同步标签的边上同步； 所述更新是用逗 号分隔的表达式列表； 所述局部变量声明是在模板内部的变量声明， 所述变量声明包括 时钟、 有界整数、 管道 channel、 数组； 所述参数是模板的类型变量， 能够声明为 值传递或引用传递， 语义与C+ +类似。 9.如权利要求1所述的对抗样本生成方法， 其特征在于， 步骤三中， 所述安全攸关的对 抗样本是指： System(Type&a)为具有数组参数a的TA 网络， 令x＝<x1,…,xn>为数组代表TA 网络的输 入数据流， x'＝<x'1,…,x'n>每项都是x中对应项的对抗样本， 即x'1是x1的对抗样本， x'2是 x2的对抗样本， 以此类推； 如果System接收数据流x没有违反安全性质， 而System接 收数据 流x’违反了安全性质， 则x ’是x的安全 攸关对抗样本 。 10.一种实现如权利要求1 ‑9之任一项所述对抗样本生成方法的生成系统， 所述系统包 括模型检测模块和对抗 攻击模块； 所述模型检测模块用于将自动驾驶系统和交通场景进行建模， 结合安全性质利用模型 检测器进行分析， 获得对抗 攻击的语义信息； 所述对抗攻击模块用于结合对抗攻击的语义信 息和对抗攻击算法生成对抗样本， 并通 过仿真模拟获得 可视化攻击结果。权　利　要　求　书 2/2 页 3 CN 115495875 A 3