(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210505393.6 (22)申请日 2022.05.10 (71)申请人 清华大学 地址 100084 北京市海淀区清华园 (72)发明人 江瑞　丁锦瑞　杨鹏帅　张学工　 闾海荣　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 霍莉莉　黄健 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06T 7/00(2017.01)G06V 10/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 胶质瘤的类型识别方法、 模型训练方法、 装 置、 设备 (57)摘要 本公开提供的一种胶质瘤的类型识别方法、 模型训练方法、 装置、 设备， 涉及图像处理技术， 包括： 获取胶质瘤的组织病理图像； 将组织病理 图像输入预设识别模型， 提取胶质瘤中各目标图 块的各特征向量， 基于第一通道对 各特征向量进 行处理， 得到与每种类型对应的第一分类信息以 及目标向量， 基于第二通道对目标向量进行处 理， 得到与每种类型对应的第二分类信息； 对第 一分类信息和第二分类信息进行处理， 得到目标 分类结果。 本方案中， 可 以通过第一通道得到每 种类型对应的第一分类信息以及目标向量； 通过 第二通道对目标向量进行处理， 得到每种类型对 应的第二 分类信息； 根据第一、 第二分类信息， 得 到分类结果。 可在一定程度上提高分型的准确 率。 权利要求书2页 说明书12页 附图4页 CN 114972849 A 2022.08.30 CN 114972849 A 1.一种胶质瘤的类型识别方法， 其特 征在于， 所述方法包括： 获取胶质瘤的组织病理图像； 将所述组织病理图像输入至预设的识别模型中， 基于所述识别模型中的特征提取模块 提取所述胶质瘤中各目标图块的各特征向量， 基于所述识别模型中的第一通道对各所述特 征向量进行处理， 得到与每种类型对应的第一分类信息以及与每种类型对应的目标向量， 基于所述识别模型中的第二通道对所述目标向量进行 处理， 得到与每种类型对应的第二分 类信息； 基于所述识别模型中的整合模块对所述第一分类信息和所述第二分类信息进 行处 理， 得到所述组织病理图像中的胶质瘤的目标分类结果； 其中， 所述识别模型是使用训练数据集训练得到的， 所述训练数据集中包括多组训练 数据， 所述训练数据包括胶质瘤的组织病理图像， 以及所述组织病理图像中胶质瘤的标注 类型。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述识别模型中的第 一通道对各 所述特征向量进 行处理， 得到与每种类型对应的第一分类信息以及与每种类型对应的目标 向量， 包括： 将所述特征向量输入至所述第 一通道中与每种类型对应的全连接层中， 得到所述特征 向量与每种类型对应的中间分类信息； 在与所述类型对应的中间分类信息中确定与所述类型对应的第一分类信息； 将与所述第一分类信息对应的特 征向量， 确定为与所述类型对应的目标向量。 3.根据权利要求2所述的方法， 其特征在于， 所述类型的中间分类信 息用于表征胶质瘤 属于所述类型的概 率值； 所述在与所述类型对应的中间分类信息中确定与所述类型对应的第一分类信息， 包 括： 将用于表征胶质瘤属于所述类型概 率最大的概 率值确定为所述类型的第一分类信息 。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述识别模型中的第 二通道对所 述目标向量进行处 理， 得到与每种类型对应的第二分类信息， 包括： 融合第一特征向量和各第二特征向量， 得到所述第一特征向量对应的第一融合向量； 其中， 所述第二特 征向量是与所述第一特 征向量相邻的特 征向量； 融合所述目标向量和各所述第一融合向量， 得到与所述目标向量对应的第二融合向 量； 根据各所述目标向量对应的各所述第 二融合向量， 确定与每种类型对应的第 二分类信 息。 5.根据权利要求4所述的方法， 其他特征在于， 所述融合第 一特征向量和各第 二特征向 量， 得到所述第一特 征向量对应的第一融合向量， 包括： 根据所述第 一特征向量和各所述第 二特征向量， 确定所述第 一特征向量与自身的第 一 注意力权 重， 以及所述第一特 征向量与各 所述第二特 征向量之间的各第二注意力权 重； 根据所述第 一特征向量和所述第 一注意力 权重确定第 一乘积， 根据所述第 二特征向量 和与所述第二特征向量对应的第二注意力权重， 确定第二乘积； 将所述第一乘积和各所述 第二乘积之和 确定为所述第一特 征向量的第一融合向量。 6.根据权利要求4所述的方法， 其特征在于， 所述融合所述目标向量和各所述第 一融合权　利　要　求　书 1/2 页 2 CN 114972849 A 2向量， 得到与所述目标向量对应的第二融合向量， 包括： 根据所述目标向量和各所述第 一融合向量， 确定所述目标向量与各所述第 一融合向量 之间的各第三注意力权 重； 根据所述第一融合向量和与所述第一融合向量对应的第三注意力权重， 确定第三乘 积； 将各所述第三乘积之和 确定为所述目标向量的第二融合向量。 7.根据权利要求1所述的方法， 其特征在于， 其中， 所述第 一分类信 息为第一概率值， 所 述第二分类信息为第二 概率值； 所述基于所述识别模型中的整合模块对所述第一分类信息和所述第二分类信息进行 处理， 得到所述组织病理图像中的胶质瘤的目标分类结果， 包括： 根据与各所述类型对应的所述第一概率值、 所述第二概率值， 确定与各所述类型对应 的总概率； 根据各所述类型的总概 率， 在各所述类型中确定所述目标分类结果。 8.一种模型训练方法， 其特 征在于， 所述方法包括： 获取训练数据集； 其中， 所述训练数据集中包括多组训练数据， 所述训练数据包括胶质 瘤的组织病理图像， 以及所述胶质瘤的标注类型； 将所述胶质瘤的组织病理图像输入至预设模型中， 得到所述组织病理图像中的胶质瘤 的预测类型； 根据所述胶质瘤的标注类型和预测类型， 优化所述预设模型中的参数， 得到识 别模型； 其中， 所述识别模型用于识别胶质瘤的类型。 9.一种电子设备， 其特 征在于， 包括存 储器和处 理器； 其中， 所述存储器， 用于存 储计算机程序； 所述处理器， 用于读取所述存储器存储的计算机程序， 并根据所述存储器中的计算机 程序执行上述权利要求1 ‑7或8任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 当处理器执行所述计算机执行指令时， 实现上述权利要求1 ‑7或8任一项所述的 方法。权　利　要　求　书 2/2 页 3 CN 114972849 A 3