(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211477524.0 (22)申请日 2022.11.23 (71)申请人 武汉楚精灵医疗科技有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区高新大道818号武汉高科医疗器 械园B地块一期B10栋5层03号 (72)发明人 杨振宇　胡珊　 (74)专利代理 机构 深圳紫藤知识产权代理有限 公司 44570 专利代理师 李莎 (51)Int.Cl. G06T 7/00(2017.01) G06T 17/00(2006.01) (54)发明名称 消化道内镜图像的活检留图方法、 装置及存 储介质 (57)摘要 本申请实施例提供了一种消化道内镜图像 的活检留图方法、 装置及存储介质， 该方法通过 获取消化道内镜图像序列， 从消化道内镜图像序 列中提取包含有相同标志物的标志物区域图像 序列， 基于标志物区域图像的三维坐标集合， 计 算当前相邻两帧标志物区域图像中的粘膜形态 变化程度的量化值， 基于当前相邻两帧附着物区 域图像， 计算附着物区域图像中的附着物变化程 度的量化值， 基于第一形态变化度、 第二形态变 化度及预设留图阈值， 确定与标志物区域图像对 应的消化道内镜图像的活检留图状态， 实现了消 化道内镜图像序列的活检留图状态的定量分析， 大大提高了消化道内镜图像序列的活检留图状 态检测效率。 权利要求书3页 说明书10页 附图3页 CN 115546206 A 2022.12.30 CN 115546206 A 1.一种消化道内镜图像的活检留图方法， 其特 征在于， 包括： 获取消化道内镜图像序列， 所述消化道内镜图像序列包括多帧消化道内镜图像； 从消化道内镜 图像序列中提取包含有相同标志物的标志物区域图像序列， 其中， 所述 标志物区域图像序列包括多帧标志物区域图像， 且一帧标志物区域图像对应一帧消化道内 镜图像； 对多帧所述标志物区域图像进行三维重建， 得到所述标志物区域图像的三维坐标集 合； 基于所述标志物区域图像的三维坐标集合， 计算当前相邻 两帧所述标志物区域图像中 的粘膜形态变化 程度的量 化值， 得到第一形态变化度； 对所述多帧标志 物区域图像进行表面附着物 识别， 得到对应的多帧附着物区域图像； 基于所述当前相邻 两帧附着物区域图像， 计算所述附着物区域图像中的附着物变化程 度的量化值， 得到第二形态变化度； 基于所述第一形态变化度、 所述第二形态变化度及预设留图阈值， 确定与所述标志物 区域图像对应的所述消化道内镜图像的活检留图状态， 所述活检留图状态包括留图和不留 图。 2.如权利要求1所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述从消化道内 镜图像序列中提取包 含有相同标志 物的标志 物区域图像序列， 包括： 对所述消化道内镜图像进行 标志物区域定位， 确定标志 物区域的预测框； 基于所述预测框的坐标， 计算各个预测框的偏移程度系数； 将偏移程度系数小于预设偏移阈值的所述预测框确定为目标 预测框； 按照各个所述目标预测框在所述消化道内镜图像进行裁剪， 得到所述标志物区域图像 序列。 3.如权利要求1所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述对多帧所述 标志物区域图像进行三维重建， 得到所述标志 物区域图像的三维坐标集 合， 包括： 将所述标志物区域图像输入训练好的三维重建模型中， 输出所述标志物区域图像的三 维坐标集 合。 4.如权利要求3所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述消化道内镜 图像的活检留图方法还 包括： 根据所述标志 物区域图像和对应的灰度掩 模， 预测像素点的三维坐标； 基于所述像素点的三维坐标进行点云融合， 得到初始三维模型； 根据所述初始三维模型生成所述标志 物区域图像的二维投影图； 获取所述二维投影图的掩 模图像对应的损失函数， 得到掩 模损失函数； 获取所述二维投影图的深度掩 模图像对应的损失函数， 得到深度损失函数； 基于所述深度损失函数和掩模损失函数对所述三维模型进行训练， 生成所述训练好的 三维重建模型。 5.如权利要求1所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述基于所述标 志物区域图像的三维坐标集合， 计算当前相 邻两帧所述标志物区域图像中的粘膜形态变化 程度的量 化值， 得到第一形态变化度， 包括： 根据所述标志物区域图像的三维坐标集合， 确定所述标志物区域图像中的标志物在Z权　利　要　求　书 1/3 页 2 CN 115546206 A 2轴上的极值 点的二维坐标； 确定所述标志 物区域图像中的标志 物所在平面的中心点的二维坐标； 基于所述极值 点的二维坐标和所述中心点的二维坐标确定所述第一形态变化度。 6.如权利要求1所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述对所述多帧 标志物区域图像进行表面附着物 识别， 得到对应的多帧附着物区域图像， 包括： 将所述标志物区域图像输入训练好的附着物识别模型进行识别， 获取输出结果， 所述 输出结果包括附着物类型标签及所述附着物类型标签对应的附着物区域图像， 所述附着物 类型标签包括表面附着物和其 他附着物； 从所述输出结果中获取附着物类型标签为表面附着物对应的附着物区域图像作为所 述附着物区域图像。 7.如权利要求6所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述输出结果还 包括附着物类型 标签为表面附着物的非自发性出 血的概率； 所述基于所述当前相邻 两帧附着物区域图像， 计算所述附着物区域图像中的附着物变 化程度的量 化值， 得到第二形态变化度， 包括： 计算所述当前相邻 两帧附着物区域图像的非自发性出血的概率的差值， 将所述差值作 为第二形态变化度。 8.如权利要求1所述的消化道内镜图像的活检 留图方法， 其特征在于， 所述基于所述第 一形态变化度、 所述第二形态变化度及预设留图阈值， 确定与所述标志物 区域图像对应的 所述消化道内镜图像的活检留图状态， 包括： 根据所述第一形态变化度、 所述第二形态变化度， 利用预设激活函数计算得到综合形 态变化度； 根据所述综合形态变化度及所述预设留图阈值， 确定活检留图状态。 9.一种消化道内镜图像的活检留图装置， 其特 征在于， 包括： 获取模块， 用于获取消化道内镜 图像序列， 所述消化道内镜 图像序列包括多帧消化道 内镜图像； 提取模块， 用于从消化道内镜图像序列中提取包含有相同标志物的标志物区域图像序 列， 其中， 所述标志物区域图像序列包括多帧标志物区域图像， 且一帧标志物区域图像对应 一帧消化道内镜图像； 重建模块， 用于对多帧所述标志物区域图像进行三维重建， 得到所述标志物区域图像 的三维坐标集 合； 第一计算模块， 用于基于所述标志物区域图像的三维坐标集合， 计算当前相邻两帧所 述标志物区域图像中的粘膜形态变化 程度的量 化值， 得到第一形态变化度； 识别模块， 用于对所述多帧标志物区域图像进行表面附着物识别， 得到对应的多帧附 着物区域图像； 第二计算模块， 用于基于所述当前相邻两帧附着物区域图像， 计算所述附着物区域图 像中的附着物变化 程度的量 化值， 得到第二形态变化度； 确定模块， 用于基于所述第 一形态变化度、 所述第 二形态变化度及预设留图阈值， 确定 与所述标志物区域图像对应的所述消化道内镜图像的活检留图状态， 所述活检留图状态包 括留图和不留图。权　利　要　求　书 2/3 页 3 CN 115546206 A 3