(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202110314849.6 (22)申请日 2021.03.24 (65)同一申请的已公布的文献号 申请公布号 CN 113158550 A (43)申请公布日 2021.07.23 (73)专利权人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 高志鹏　邱晨豪　杨杨　张瀛瀚　 赵晨　莫梓嘉　 (74)专利代理 机构 北京柏杉松知识产权代理事 务所(普通 合伙) 11413 专利代理师 丁芸　赵元 (51)Int.Cl. G06F 30/27(2020.01) G06N 3/08(2006.01)审查员 霍玉明 (54)发明名称 一种联邦学习方法、 装置、 电子设备及存储 介质 (57)摘要 本申请实施例提供的联邦学习方法、 装置、 电子设备及存储介质， 应用于深度神经网络模型 训练的技术领域， 通过初始化并接收各终端发送 的共享验证数据和本地模型的模 型参数； 根据各 终端发送的共享验证数据和本地模型的模型参 数计算各终端的权重； 根据各终端的权重和各终 端发送的本地模 型的模型参数进行模 型聚合； 将 模型聚合得到的全局模型的模型参数发送至各 终端， 以使各 终端根据接收到的全局模 型的模型 参数对本地模 型的参数进行更新。 从而通过根据 各终端发送的共享验证数据和本地模型的模型 参数计算各终端的权重， 根据计算得到的权重进 行模型聚合， 从而可 以考虑各个终端的差异， 避 免由于数据分布不均， 导致的计算效率下降的问 题， 提高计算的效率。 权利要求书4页 说明书12页 附图4页 CN 113158550 B 2022.08.26 CN 113158550 B 1.一种联邦学习方法， 其特征在于， 应用于服务器， 所述服务器用于管理至少两个终 端， 所述方法包括： 初始化并接收各所述终端发送的共享验证数据和本地模型的模型参数， 其中， 每一终 端均运行一本地模型； 根据各所述终端发送的所述共享验证数据， 通过 预设公式： 计算各所述终端的准确率， 其中， 所述共享验证数据中包括测试数据xi， 代表 测试数据xi在当前模型下的预测结果， 代表当前模型对共享验证数据中测 试数据xi的预测结果是否与对应数据的标签yi一致， 一致为1， 不一致取值为0， number (Dtest)为测试数据Dtest的条数， 为n个终端在t轮次的准确率； 通过预设公式： 计算各终端的历史准确率， 其中， 为n个终端在t轮次的历史准确率， N为参与的终端 的数量， m为截尾系数， 为第i个终端在t轮次的准确率； 根据各所述终端的准确率和各终端的历史准确率， 通过 预设公式： 计算各所述终端的准确率平均值， 其中， 为n个终端在t轮次的准确率平均值， 为n个终端在t ‑1轮次的历史准确率； 根据各所述终端的准确率和各 所述终端的准确率平均值， 通过 预设公式： 计算各所述终端的准确率进步值， 其中， Rn为准确率进步值， σt表示终端是否参与t轮次 的训练， 参与为1， 不参与为0， Tmax为训练总轮次数， 为阶跃函数， 若t轮次 节点参数准确率高于节点 准确率平均值， 则为1， 否则为0； 根据各所述终端的准确率进步 值， 通过预设公式： 计算各所述终端的权重， 其中， γi为终端训练趋势度量系数， 为第i个终端在t轮 次相对于全局模型的准确率进步 值；权　利　要　求　书 1/4 页 2 CN 113158550 B 2根据所述各终端的权 重和各所述终端发送的所述本地模型的模型参数进行模型聚合； 将模型聚合得到的全局模型的模型参数发送至各所述终端， 以使各所述终端根据接收 到的所述全局模型的模型参数对所述本地模型的参数进行 更新。 2.根据权利要求1所述的方法， 其特征在于， 所述初始化并接收各终端发送的共享验证 数据和本地模型的模型参数， 包括： 初始化所述全局模型； 将初始化的全局模型发送至各 所述终端； 接收各所述终端发送的本地数据并进行保存； 接收各所述终端发送的所述共享验证数据和所述本地模型的模型参数。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述各终端的权重和各所述终端 发送的所述本地模型的模型参数进行模型聚合， 包括： 根据所述各终端的权重和各所述终端发送的所述本地模型的模型参数， 通过预设公 式： 进行模型聚合， 其中， 为终端i在轮次t提交的本地模型， 为节点i在t轮次的节 点权 重， 为节点i在轮次t提交的本地模型。 4.一种联邦学习装置， 其特征在于， 应用于服务器， 所述服务器用于管理至少两个终 端， 所述装置包括： 参数接收模块， 用于初始化并接收各所述终端发送的共享验证数据和本地模型的模型 参数， 其中， 每一终端均运行一本地模型； 权重计算模块， 包括： 准确率计算子模块、 平均值计算子模块、 进步值计算子模块、 权重 计算子模块； 所述准确率计算子模块， 用于： 根据各所述终端发送的所述共享验证数据， 通过 预设公式： 计算各所述终端的准确率， 其中， 所述共享验证数据中包括测试数据xi， 代 表测试数据xi在当前模型下的预测结果， 代表当前模型对共享验证数据中 测试数据xi的预测结果是否与对应数据的标签yi一致， 一致为1， 不一致取值为0， number (Dtest)为测试数据Dtest的条数， 为n个终端在t轮次的准确率； 所述平均值计算子模块， 用于： 通过预设公式： 权　利　要　求　书 2/4 页 3 CN 113158550 B 3