(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211299419.2 (22)申请日 2022.10.24 (71)申请人 北京白海科技有限公司 地址 100101 北京市海淀区北四环西路9号 21层2106-Y28 (72)发明人 宦成颖　卢亿雷　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张文娥 (51)Int.Cl. G06N 3/04(2006.01) G06F 9/50(2006.01) G06N 3/063(2006.01) G06N 3/08(2006.01) (54)发明名称 分布式训练方法、 并行深度学习框架及电子 设备 (57)摘要 本发明提供了一种分布式训练方法、 并行深 度学习框架及电子设备， 该方法应用于并行深度 学习框架， 包括： 获取待计算的计算图， 并基于图 神经网络将计算图划分为多个计算子图； 将每个 计算子图发送到不同的计算节 点； 在每个计算节 点对计算子图进行并行计算。 本发 明能够提高分 布式训练的性能。 权利要求书2页 说明书6页 附图2页 CN 115374914 A 2022.11.22 CN 115374914 A 1.一种分布式训练方法， 其特 征在于， 所述方法应用于并行深度学习框架， 包括： 获取待计算的计算图， 并基于图神经网络将所述计算图划分为多个 计算子图； 将每个所述计算子图发送到不同的计算节点； 在每个所述计算节点对所述计算子图进行并行计算。 2.根据权利要求1所述的方法， 其特征在于， 基于图神经网络将所述计算图划分为多个 计算子图， 包括： 基于所述计算图确定多种计算图划分策略； 基于所述图神经网络预测每种所述计算图划分策略的运行时间； 基于所述计算图划分策略的运行时间确定目标计算图划分策略， 并基于所述目标计算 图划分策略对所述计算图进行划分， 得到多个 计算子图。 3.根据权利要求2所述的方法， 其特征在于， 基于所述图神经网络预测每种所述计算图 划分策略的运行时间， 包括： 对于每种所述计算图划分策略， 基于所述图神经网络预测所述计算图划分策略对应的 每个子图的运行时间； 将每个所述子图的运行时间的和， 确定为所述计算图划分策略的运行时间。 4.根据权利要求2所述的方法， 其特征在于， 基于所述计算图划分策略的运行时间确定 目标计算图划分策略， 包括： 采用贪心算法或者动态规划算法确定所述计算图划分策略的运行时间的最小运行时 间； 将所述最小运行时间对应的所述计算图划分策略确定为目标计算图划分策略。 5.根据权利要求1所述的方法， 其特 征在于， 所述计算节点包括多个图形处 理器GPU； 在每个所述计算节点对所述计算子图进行并行计算， 包括： 将所述计算子图进行划分， 得到多个目标子图； 将所述目标子图发送至不同的GPU 进行并行计算。 6.一种并行深度学习框架， 其特 征在于， 包括： 计算图划分模块， 用于获取待计算的计算图， 并基于 图神经网络将所述计算图划分为 多个计算子图； 计算子图发送模块， 用于将每 个所述计算子图发送到不同的计算节点； 计算模块， 用于在每 个所述计算节点对所述计算子图进行并行计算。 7.根据权利要求6所述的并行深度学习框架， 其特征在于， 所述计算图划分模块还用 于： 基于所述计算图确定多种计算图划分策略； 基于所述图神经网络预测每种所述计算图划分策略的运行时间； 基于所述计算图划分策略的运行时间确定目标计算图划分策略， 并基于所述目标计算 图划分策略对所述计算图进行划分， 得到多个 计算子图。 8.根据权利要求6所述的并行深度学习框架， 其特征在于， 所述计算节点包括多个图形 处理器GPU； 所述计算模块还用于： 将所述计算子图进行划分， 得到多个目标子图； 将所述目标子图发送至不同的GPU 进行并行计算。权　利　要　求　书 1/2 页 2 CN 115374914 A 29.一种电子设备， 其特征在于， 包括处理器和存储器， 所述存储器存储有能够被所述处 理器执行 的计算机可执行指令， 所述处理器执行所述计算机可执行指令以实现权利要求1 至5任一项所述的方法的步骤。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有计算机程序， 其特征 在于， 所述计算机程序被处 理器运行时执 行上述权利要求1至 5任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115374914 A 3