(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279081.4 (22)申请日 2022.10.19 (71)申请人 福建亿榕信息技 术有限公司 地址 350000 福建省福州市 鼓楼区软件大 道89号G区20号楼 申请人 国网信息通信产业 集团有限公司 　 中科方寸知微 （南京） 科技有限公司 (72)发明人 李强　赵峰　庄莉　苏江文　 宋立华　陈锴　程安达　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 专利代理师 郭梦羽 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种反知识蒸馏模型保护方法、 系统、 设备 和存储介质 (57)摘要 本发明涉及一种反知识蒸馏模 型保护方法、 系统、 设备和存储介质， 包括以下步骤： 建立噪声 生成模型； 从目标模型的训练数据集中获取采样 数据， 将各采样数据输入至目标模型， 获取第一 预测置信度向量； 将各第一预测置信度向量作为 训练数据输入至噪声生成模型， 对噪声生成模型 进行训练使噪声生成模型输出的干扰置信度向 量与第一预测置信度向量存在偏 差； 将训练好的 噪声生成模型部署为保护模块， 在输入 数据至目 标模型时， 获取目标模型的第二预测置信度向 量， 并添加噪声， 得到当前的干扰置信度向量； 对 干扰置信度向量进行校正， 使校正后的干扰置信 度向量的置信度排序与第二预测置信度向量的 置信度排序一致； 以校正后的干扰置信度向量作 为输出结果。 权利要求书2页 说明书8页 附图1页 CN 115358376 A 2022.11.18 CN 115358376 A 1.一种反知识蒸馏模型保护方法， 其特 征在于， 包括以下步骤： 建立噪声生成模型； 从预保护的目标深度神经网络模型的训练数据集中获取部分数据作为采样数据， 将各 采样数据输入至目标深度神经网络模型中， 获取 各采样数据的第一预测置信度向量； 将各第一预测置信度向量作为训练数据输入至噪声生成模型， 通过噪声生成模型对第 一预测置信度向量添加噪声输出干扰置信度向量， 对噪声生成模型进 行训练使噪声生成模 型输出的干扰置信度向量与第一预测置信度向量存在偏差； 将训练好的噪声生成模型部署为目标深度神经网络模型的保护模块， 在输入数据至目 标深度神经网络模型时， 获取当前输入数据在目标深度神经网络模型中的第二预测置信度 向量， 并通过保护模块对第二预测置信度向量添加噪声， 得到对应当前输入数据的干扰置 信度向量； 对保护模块输出的干扰置信度向量进行校正， 使校正后的干扰置信度向量中的置信度 数值大小排序与第二预测置信度向量的置信度数值大小排序一 致； 以校正后的干扰置信度向量作为目标深度神经网络模型的输出 结果。 2.根据权利要求1所述的一种反知识蒸馏模型保护方法， 其特征在于， 所述对噪声生成 模型进行训练使噪声生成模型输出的干扰置信度向量与第一预测置信度向量存在偏差的 方法具体为： 以干扰置信度向量与第一预测置信度向量的相关性最小为目标构建噪声生成模型的 目标函数进行噪声生成模型的训练； 所述目标函数 具体为： 其中， G为噪声生成模型， p为目标深度神经网络模型输出的第一预测置信度向量， q为 噪声生成模型输出的干扰置信度向量， 即G （p） =q， M为第一预测置信度向量的长度， K为设定 的需要保持排序的置信度数值的个数， α 为设定的经验参数， 表示干扰置信度向量中 升序排序第j个置信度的数值， 表示干扰置信度向量中升序排序第i个置信度的数 值。 3.根据权利要求1所述的一种反知识蒸馏模型保护方法， 其特征在于， 所述对保护模块 输出的干扰置信度向量进 行校正， 使校正后的干扰置信度向量中的置信度数值大小排序与 第二预测置信度向量的置信度数值大小排序一 致的方法具体为： 根据第二预测置信度向量中各置信度的数值大小将第 二预测置信度向量p进行升序排 序， 得到序数向量r=argsor t （p） ； 获取第二预测置信度向量的长度M， 并选择需要保持排序的置信度数值的个数 K； 获取干扰置信度向量q， 在q中对应序数向量r从第K大的位置开始， 使第i大的位置上的 置信度值 不小于第i ‑1大的位置上的置信度值。 4.一种反知识蒸馏模型保护系统， 其特 征在于， 包括： 噪声模型建立模块， 用于建立噪声生成模型； 采样模块， 用于从预保护的目标深度神经网络模型的训练数据集中获取部分数据作为权　利　要　求　书 1/2 页 2 CN 115358376 A 2采样数据， 将各采样数据输入至目标深度神经网络模型中， 获取各采样数据的第一预测置 信度向量； 训练模块， 用于将各第一预测置信度向量作为训练数据输入至噪声生成模型， 通过噪 声生成模型对第一预测置信度向量添加噪声输出干扰置信度向量， 对噪声生成模型进 行训 练使噪声生成模型输出的干扰置信度向量与第一预测置信度向量存在偏差； 部署模块， 用于将训练好的噪声生成模型部署为目标深度神经网络模型的保护模块， 在输入数据至目标深度神经网络模型时， 获取当前输入数据在目标深度神经网络模型中的 第二预测置信度向量， 并通过保护模块对第二预测置信度向量添加噪声， 得到对应当前输 入数据的干扰置信度向量； 校正模块， 用于对保护模块输出的干扰置信度向量进行校正， 使校正后的干扰置信度 向量中的置信度数值大小排序与第二预测置信度向量的置信度数值大小排序一 致； 输出模块， 用于以校正后的干扰置信度向量作为目标深度神经网络模型的输出 结果。 5.根据权利要求 4所述的一种反知识蒸馏模型保护系统， 其特 征在于： 所述训练模块中包括 一目标建立单 元； 所述目标建立单元用于以干扰置信度向量与第一预测置信度向量的相关性最小为目 标构建噪声生成模型的目标函数进行噪声生成模型的训练； 所述目标函数 具体为： 其中， G为噪声生成模型， p为目标深度神经网络模型输出的第一预测置信度向量， q为 噪声生成模型输出的干扰置信度向量， 即G （p） =q， M为第一预测置信度向量的长度， K为设定 的需要保持排序的置信度数值的个数， α 为设定的经验参数， 表示干扰置信度向量中 升序排序第j个置信度的数值， 表示干扰置信度向量中升序排序第i个置信度的数 值。 6.根据权利要求4所述的一种反知识蒸馏模型保护系统， 其特征在于， 所述校正模块具 体包括： 第二预测置信度向量排序单元， 用于根据第 二预测置信度向量中各置信度的数值大小 将第二预测置信度向量p进行升序排序， 得到序数向量r=argsor t （p） ； 参数获取单元， 用于获取第 二预测置信度向量的长度M， 并选择需要保持排序的置信度 数值的个数 K； 调整单元， 用于获取干扰置信度向量q， 在q中对应序数向量r从第K大的位置开始， 使第 i大的位置上的置信度值 不小于第i ‑1大的位置上的置信度值。 7.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至3任一权利要求所述 的一种反知识蒸馏模型保护方法。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1至 3任一权利要求所述的一种反知识蒸馏模型保护方法。权　利　要　求　书 2/2 页 3 CN 115358376 A 3