(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210756132.1 (22)申请日 2022.06.29 (71)申请人 上海御胜信息科技股份有限公司 地址 201613 上海市松江区文翔东路58号 13幢2层202室 (72)发明人 刘铁君　康健　 (74)专利代理 机构 北京中索 知识产权代理有限 公司 11640 专利代理师 隋晓勇 (51)Int.Cl. G06F 21/64(2013.01) G06F 21/62(2013.01) (54)发明名称 基于区块链和联邦学习的隐私安全计算验 证方法及系统 (57)摘要 本发明提供一种基于区块链和联邦学习的 隐私安全计算验证方法及系统， 所述方法包括以 下步骤： 对于联邦学习的模型训练， 令系统中有K 个终端， 每个终端持有包含ni个样本的本地数据 集DBi， 得到服务器损失函数； 采用SGD将损失函 数最小化， 直至达到指定的迭代次数或模型准确 率； 利用差分隐私高斯机制干扰模 型的数据输入 阶段和损失函数计算阶段， 确定差分隐私预算； 计算损失函数敏感度， 通过向损失函数的输出添 加高斯噪声来实现差分隐私。 本发 明利用联邦学 习为多设备建立协同训练平台， 引入区块链实现 训练过程的去中心化和可审计性， 设计自适应差 分隐私机制保护参数隐私并减小噪声对模型准 确性的影 响， 用较高的模型准确率实现了隐私保 护。 权利要求书2页 说明书10页 附图1页 CN 115203751 A 2022.10.18 CN 115203751 A 1.一种基于区块链和联邦学习的隐私安全计算验证方法， 其特 征在于， 包括以下步骤： S1、 对于联邦学习的模型训练， 令所述联邦学习的系统中有K个终端， 每个所述终端持 有包含ni＝|DBi|个样本的本地数据集DBi(1≤i≤K)， 则服 务器的损失函数为： 式(1)中， 是所有终端数据量总和， 是第i个终端的本地损 失函数， fj(w)＝l(xj， yj， w)是样本(xj， yj)对模型w造成的损失； S2、 采用随机梯度下降算法SGD将所述损失函数最小化， 直至达到指定的迭代次数或模 型准确率； S3、 利用差分隐私高斯机制干扰所述模型的数据输入阶段和损失函数计算阶段， 使所 述模型整体满足差分隐私保证， 并在模型训练前确定差分隐私预算即模型的隐私保护程 度； 定义差分隐私： 令随机算法A为A： D →R满足ε‑差分隐私保护， D和D ′是最多有一条记录 不同的2个数据集， O∈R为 算法A的输出， 若算法A满足： Pr[A(D)＝O ]≤eεPr[A(D′)＝O]+δ  (2) 则称A满足( ε， δ ) ‑差分隐私， 其中， e是自然对数常数， ε为差分 隐私， ε值越小说明隐私 保护程度越高， 但同时对于算法A的精度损失越大； δ表示允许违背严格差分隐私的概 率； S4、 计算所述损失函数f的敏感度， 通过向损失函数f的输出添加高斯噪声来实现( ε， δ )‑差分隐私， 如式(4)所示： A(D)＝f(D)+N(0， (Δfσ )2I)  (4) 其中， 高斯噪声是满足均值 为0、 协方差为(Δfσ )2I的高斯分布， I 为单位矩阵。 2.根据权利要求1所述的基于区块链和联邦学习的隐私安全计算验证方法， 其特征在 于， 所述S4 步骤的所述计算损失函数f的敏感度的方法包括： 定义敏感度： 对于任意的查询函数f： D →Rd， D为输入数据集， Rd为函数输出 的d维向量， 则函数f的敏感度为： 式(3)中， D和D ′为最多相差一条记录的相邻数据集， | |·||p表示Lp范数。 3.根据权利要求1所述的基于区块链和联邦学习的隐私安全计算验证方法， 其特征在 于， 所述S2步骤的所述随机梯度下降算法将损失函数最小化的方法包括： 采用拜占庭容错算法BFT， 保证在拜占庭计算节点下的聚合近似梯度和真实梯度之间 的距离上界， 在有 恶意节点的情况 下达成共识。 4.根据权利要求3所述的基于区块链和联邦学习的隐私安全计算验证方法， 其特征在 于， 所述拜占庭容 错算法BFT包括： 使服 务器中聚合的向量方向与真实的梯度的内积非负。 5.根据权利要求3所述的基于区块链和联邦学习的隐私安全计算验证方法， +其特征在 于， 所述S2步骤的所述拜占庭容 错算法BFT的方法还 包括： 采用Algorand共识算法的可验证随机函数VRF从区块链中选择若干个验证者， 当区块权　利　要　求　书 1/2 页 2 CN 115203751 A 2链每生成一个新区块时， 在所述若干个验证者的少数验证者上进行验证。 6.一种基于区块链和联邦学习的隐私安全计算验证系统， 其特征在于， 执行权利要求 1‑5任一项所述的基于区块链和联邦学习的隐私安全计算验证方法， 包括： 建立损失函数模块： 用于联邦学习的模型训练中令所述联邦学习的系统中有K个终端， 每个所述终端持有包含ni＝|DBi|个样本的本地数据集DBi(1≤i≤K)， 则服务器的损失函数 为： 式(1)中， 是所有终端数据量总和， 是第i个终端的本地损 失函数， fj(w)＝l(xj， yj， w)是样本(xj,yj)对模型w造成的损失； 损失函数最小化最小化模块： 采用随机梯度下降算法SGD将所述损失函数最小化， 直至 达到指定的迭代次数或模型准确率； 差分隐私模块： 利用差分隐私高斯机制干扰所述模型的数据输入阶段和损失函数计算 阶段， 使所述模型整体满足差分隐私保证， 并在模型训练前确定差分隐私预算即模型 的隐 私保护程度； 计算损失函数敏感度模块： 用于计算所述损失函数f的敏感度， 通过向损失函数f的输 出添加高斯噪声来实现( ε, δ ) ‑差分隐私。 7.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述程序被处理器 执行时实现权利要求1 ‑5任一项所述的基于区块链和联邦学习的隐私安全计算验证方法， 以及权利要求6所述的基于区块链和联邦学习的隐私安全计算验证系统。 8.一种计算机设备， 所述计算机设备包括存储器、 处理器及存储在存储器上并可在处 理器上运行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑5任 一项所述的基于区块链和联邦学习的隐私安全计算验证方法， 以及权利要求6所述的基于 区块链和联邦学习的隐私安全计算验证系统。权　利　要　求　书 2/2 页 3 CN 115203751 A 3