(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111666441.1 (22)申请日 2021.12.31 (71)申请人 南京星云数字技 术有限公司 地址 211800 江苏省南京市江北新区研创 园团结路9 9号孵鹰大厦834室 (72)发明人 阮鹤樵　侯亦杨　郑清正　 (74)专利代理 机构 北京市万慧达律师事务所 11111 代理人 谢浩荣 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 机器学习模型管理方法、 装置、 计算机设备 和存储介质 (57)摘要 本申请涉及机器学习模型管理方法、 装置、 计算机设备和存储介质。 所述方法包括： 对第一 模型与所述第一模型的第一特征进行多维检测， 获取多维检测指标， 将所述多维检测指标与预设 的多维阈值进行比较， 获取多维决策指标； 获取 来自于新样 本的第二特征， 将所述第二特征与所 述第一特征进行融合， 获取第二模 型与所述第二 模型的价值检测指标， 将所述价值检测指标与预 设的价值阈值进行比较， 获取价值决策指标； 根 据所述多维决策指标与所述价值决策指标对所 述第一模型进行更新， 以此解决机器学习模型管 理的成本高、 效率低等问题。 权利要求书2页 说明书9页 附图4页 CN 114386619 A 2022.04.22 CN 114386619 A 1.机器学习模型 管理方法， 其特 征在于， 包括： 对第一模型与所述第一模型的第一特征进行多维检测， 获取多维检测指标， 将所述多 维检测指标与预设的多维阈值进行比较， 获取多维决策指标； 获取来自于新样本的第二特征， 将所述第二特征与所述第一特征进行融合， 获取第二 模型与所述第二模型 的价值检测指标， 将所述价值检测指标与预设的价值阈值进行比较， 获取价值决策指标； 根据所述多维决策指标与所述 价值决策指标对所述第一模型进行 更新。 2.根据权利要求1所述的机器学习模型管理方法， 其特征在于， 对第 一模型与 所述第一 模型的第一特 征进行多维检测， 获取多维检测指标的步骤 包括： 获取第一真实数据， 对所述第一特征进行第一检测， 统计所述第一特征在第一真实数 据中的缺失值， 获取第一检测指标； 对所述第一特征进行第 二检测， 获取所述第 一特征在所述第 一真实数据中的第 一中位 数与所述特征在训练数据中的第二中位数， 根据所述第一中位数与所述第二中位数， 获取 第二检测指标。 3.根据权利要求2所述的机器学习模型管理方法， 其特征在于， 将所述多维检测指标与 预设的多维阈值进行比较， 获取多维决策指标的步骤 包括： 判断所述第一检测指标是否大于第一阈值， 若是， 则获取第一正向决策指标， 若否， 则 获取第一反向决策指标； 判断所述第二检测指标是否大于第二阈值， 若是， 则获取第二正向决策指标， 若否， 则 获取第二反向决策指标。 4.根据权利要求1或2所述的机器学习模型管理方法， 其特征在于， 对第一模型与所述 第一模型的第一特 征进行多维检测， 获取多维检测指标的步骤 包括： 获取第一周期内的第 一真实数据， 按照所述第 一真实数据对所述第 一模型进行第 三检 测， 获取所述第一模型的稳定性指标； 根据所述稳定性指标的中位数， 获取第三检测指标。 5.根据权利要求4所述的机器学习模型管理方法， 其特征在于， 将所述多维检测指标与 预设的多维阈值进行比较， 获取多维决策指标的步骤 包括： 判断所述第三检测指标是否大于第三阈值， 若是， 则获取第三正向决策指标， 若否， 则 获取第三反向决策指标。 6.根据权利要求1所述的机器学习模型管理方法， 其特征在于， 获取所述第 二模型的价 值检测指标， 将所述价值检测指标与预设的价值阈值进行比较， 获取价值决策指标 的步骤 包括： 获取第二周期内的第 二真实数据， 按照所述第 二真实数据获取所述第 二模型的价值检 测指标； 判断所述价值检测指标是否大于所述价值阈值， 若是， 则获取价值正向决策指标， 若 否， 则获取价 值反向决策指标。 7.根据权利要求1所述的机器学习模型管理方法， 其特征在于， 对所述第 一模型进行更 新的步骤 包括： 将所述第一特 征进行删减， 获取第三特 征；权　利　要　求　书 1/2 页 2 CN 114386619 A 2将所述第二特 征进行删减， 获取第四特 征； 将所述第三特 征与所述第四特 征进行融合， 作为所述第一模型的特 征。 8.机器学习模型 管理装置， 其特 征在于， 包括： 第一获取模块， 用于对第一模型与所述第一模型的第一特征进行多维检测， 获取多维 检测指标， 将所述多维检测指标与预设的多维阈值进行比较， 获取多维决策指标； 第二获取模块， 用于获取来自于新样本的第二特征， 将所述第二特征与所述第一特征 进行融合， 获取第二模型与所述第二模型 的价值检测指标， 将所述价值检测指标与预设的 价值阈值进行比较， 获取价 值决策指标； 更新模块， 用于根据所述多维决策指标与所述价值决策指标对所述第一模型进行更 新。 9.计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算机 程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述机 器学习模型 管理装置方法的步骤。 10.计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处 理器执行时实现权利要求1至7中任一项所述机器学习模型 管理装置方法的步骤。权　利　要　求　书 2/2 页 3 CN 114386619 A 3