(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211274191.1 (22)申请日 2022.10.18 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 张子涵　景乃锋　蒋剑飞　王琴　 (74)专利代理 机构 上海旭诚知识产权代理有限 公司 312 20 专利代理师 郑立 (51)Int.Cl. G06N 3/063(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种利用数据稀疏性的神经网络加速方法 (57)摘要 本发明公开了一种利用数据稀疏性的神经 网络加速方法， 涉及面向稀 疏性神经网络的加速 器领域， 包括以下步骤： 发出多个2D固定输入块 的组合方式给预测电路； 同时累加多个输入块的 组合方式； 生成满足分辨范围的多个组合方式的 多热掩码， 将满足分辨范围的置1， 不满足分辨范 围的置0； 根据ADC计算能力对候选组合方式进行 优先排序； 获取计算并行度最高的组合方式， 生 成激活和输出位置累加 信号； 更新波前状态和最 大预测范围寄存器； 更新执行进度同步信号； 继 续在允许的预测范围中选择数据进行预测和计 算。 该方法提高了 计算效率， 节省能耗。 权利要求书1页 说明书8页 附图4页 CN 115526305 A 2022.12.27 CN 115526305 A 1.一种利用数据稀疏性的神经网络加速方法， 其特 征在于， 包括以下步骤： 第1步、 发出多个2D固定 输入块的组合方式给 预测电路； 第2步、 同时累加多个输入块的组合方式， 判断多个累加结果是否满足ADC分辨范围； 若 为是， 执行第3步； 若为否， 执 行第22步； 第3步、 生成满足分辨范围的多个组合方式的多热掩码， 将满足分辨范围的置1， 不满足 分辨范围的置 0； 第4步、 根据ADC计算能力对候选组合方式进行优先排序； 第5步、 获取计算并行度最高的组合方式， 生成激活和输出位置累加信号。 2.如权利要求1所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法还 包括： 第6步、 更新波前状态和最大 预测范围寄存器。 3.如权利要求2所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法还 包括： 第7步、 更新执行进度同步信号， 并判断受限于前一 次预测结果的窗口内的计算任务是 否完成； 若完成， 执 行第8步； 若未完成， 执 行第72步； 第8步、 继续在允许的预测范围中选择数据进行预测和计算， 并判断输入窗口中的数据 是否全部计算完成； 若为是， 更新所述输入窗口中的数据； 若为否， 在所述输入窗口中开始 下一个预测 和计算。 4.如权利要求3所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述第22步 包括， 在当前计算周期中使所述组合方式失效。 5.如权利要求4所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述第72步 包括， 在允许的预测范围内开始下一个预测 和计算。 6.如权利要求5所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法在 预测不同大小的适应框时， 交叉 杆被设置为能够按需要打开 不同的字线。 7.如权利要求6所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法增 强交叉字线寻址和驱动模块， 并允许 所述驱动模块从CordUR打开字线。 8.如权利要求7所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法根 据选择的所述适应框从输入窗口取出输入位， 在取出所述输入位时使用一组多路 复用器来 选择所述输入窗口中的位。 9.如权利要求8所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法为 了处理多个位宽的输入数据， 根据模数转换器允许的最大适应盒的位宽要求来增大数模转 换器； 当处理3位输入的适应框时， 数模转换器的分辨率设置为3位； 对于2 位或1位输入的适 应框， 输入馈送电路首 先用0填充输入， 然后发送到 3位数模转换器。 10.如权利要求9所述的利用数据稀疏性的神经网络加速方法， 其特征在于， 所述方法 在移动输出时， 移动量由CordUR指定 。权　利　要　求　书 1/1 页 2 CN 115526305 A 2一种利用数据 稀疏性的神经 网络加速方 法 技术领域 [0001]本发明涉及存储器内计算技术和面向稀疏性神经网络的加速器领域， 尤其涉及一 种利用数据稀疏性的神经网络加速方法。 背景技术 [0002]新兴的RRAM被认为是D NN加速的新范例， 因为它能快速地实现在D NN中必不可少的 矩阵向量乘(矩阵向量乘)操作。 在RRAM连续的输入电压切换过程中， 矩阵向量乘可以在 RRAM的忆阻器阵列结构上进 行模拟域的计算， 并具有 大量的并行性,几乎将 计算复杂度从O (n^2)减少到O(1)。 同时， 当所需要计算的权重直接映射在RRAM的忆阻器阵列上时,可以消 除数据的搬移过程。 [0003]现阶段针对基于忆阻器神经网络加速运算的方法， 不同于传统的CMOS工艺， 忆阻 器利用阻值存储逻辑信息 “1”和“0”， 输入数据经过数字模拟转换器件DAC将数字量转换为 电压模拟量， 并通过字线将电压施加给电导， 结合欧姆定律和基尔霍夫电流定律， 电流在位 线上汇聚， 经由采样保持电路将电流值转换为电压值， 再经由模拟数字转换器件AD C和移位 相加模块得到最后的输出结果， 从而完成神经网络中大量的乘累加操作运算操作， 如图1所 示。 [0004]基于ReRAM的计算具有较高的计算并行度， 擅长加速深度神经 网络(DNNs)， 但其刚 性交叉结构在面对DN Ns中丰富的随机数据稀疏性时可能会降低效率。 [0005]因此， 本领域的技术人员致力于开发一种利用数据稀疏性的神经网络加速方法， 以提高计算效率， 节省能耗。 发明内容 [0006]有鉴于现有技术的上述缺陷， 本 发明所要解决的技术问题是如何面对DNNs中丰富 的随机数据稀疏性的情况 下， 提高计算效率。 [0007]为实现上述目的， 本发明提供了一种利用数据稀疏性的神经网络加速方法， 包括 以下步骤： [0008]第1步、 发出多个2D固定 输入块的组合方式给 预测电路； [0009]第2步、 同时累加多个输入块的组合方式， 判断多个累加结果是否满足ADC分辨范 围； 若为是， 执 行第3步； 若为否， 执 行第22步； [0010]第3步、 生成满足分辨范围的多个 组合方式的多热掩码， 将满足分辨范围的置 1， 不 满足分辨范围的置 0； [0011]第4步、 根据ADC计算能力对候选组合方式进行优先排序； [0012]第5步、 获取计算并行度最高的组合方式， 生成激活和输出位置累加信号。 [0013]进一步地， 所述方法还 包括： [0014]第6步、 更新波前状态和最大 预测范围寄存器。 [0015]进一步地， 所述方法还 包括：说　明　书 1/8 页 3 CN 115526305 A 3