(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229362.2 (22)申请日 2022.03.10 (71)申请人 宁波慈溪生物医学工程研究所 地址 315300 浙江省宁波市慈溪市白沙路 街道学林路9 9号 申请人 中国科学院宁波材 料技术与工程研 究所 (72)发明人 顾愿愿　赵一天　牟磊　方利鑫　 岳星宇　蒋珊珊　 (74)专利代理 机构 宁波市鄞州盛飞专利代理事 务所(特殊普通 合伙) 33243 专利代理师 龙洋 (51)Int.Cl. G06V 20/40(2022.01) G06K 9/62(2022.01)G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于深度学习的白内障手术评价方法、 系统及介质 (57)摘要 本发明属于深度学习技术领域， 提供了一种 基于深度学习的白内障手术评价方法、 系统及介 质， 包括步骤： S1、 利用视频帧中手术器械特征结 合眼部背景特征， 对该视频帧所处的手术阶段进 行分类； S2、 根据手术各环节的初始特征标签训 练通用型网络来提取各个环节对应视频帧中用 于手术评价的评价特征； S3、 将提取的评价特征 根据预设标签获取手术各环节的量化信息， 将量 化信息输入至训练后的预设分类评价网络中对 手术各环节进行分类评价。 本发 明的优点在于建 立ICO‑OSCAR标准中描 述性评价指标与深度学习 网络可学习手术特征的量化关系， 从而实现通过 人工智能技术替代专家医生全程参与手术培训， 提高培训效果的客观性、 可靠性， 及响应 速率。 权利要求书2页 说明书5页 附图4页 CN 114782855 A 2022.07.22 CN 114782855 A 1.一种基于深度学习的白内障手术评价方法， 其特 征在于， 包括 步骤： S1、 利用视频帧中手术器械特征结合眼部背景特征， 通过预设分类网络对该视频帧所 处的手术阶段进行分类； 所述手术阶段包括切口环 节、 撕囊环 节以及人工晶体植入环 节； S2、 根据手术各环节的初始特征标签训练通用型网络来提取各个环节对应视频帧中用 于手术评价的评价特 征； S3、 将提取的评价特征根据预设标签获取手术各环节 的量化信息， 将所述量化信息输 入至训练后的预设 分类评价网络中对手术各环 节进行分类评价。 2.根据权利要求1所述的一种基于深度 学习的白内障手术评价方法， 其特征在于， 对该 视频帧所处的手术阶段进行分类的步骤 包括： S11、 对视频帧进行分层抽样处 理； S12、 通过训练后的预设目标检测模型， 获取视频帧中的手术器械和眼部背景区域， 并 将所述手术器械和眼部背景区域进行批量裁 剪； S13、 将裁剪后的手术器械和眼部背景区域， 以及对应的视频帧分别送入到经过训练的 分类器中， 通过 该分类器输出该视频帧所处手术阶段的分类结果。 3.根据权利要求1所述的一种基于深度 学习的白内障手术评价方法， 其特征在于， 对所 述通用型网络进行训练的步骤 包括： T1、 从视频帧中随机裁剪得到一图像块， 将其和前后帧图像一并输入至空间特征编码 器分别计算得到对应的空间特 征； T2、 通过可微跟踪器计算出前后帧图像对应空间特征中与该图像块最匹配的图像块对 应的定位 参数， 并通过双线性采样器进行双线性采样， 得到最匹配图像块的空间特 征； T3、 通过步骤T1和T2对空间特征编码器和可微跟踪器进行端到端 的训练， 从而得到训 练后的通用型网络 。 4.根据权利要求1所述的一种基于深度 学习的白内障手术评价方法， 其特征在于， 所述 用于手术评价的评价特征包括手术器械位置信息、 光流场信息、 角膜缘形态和位置特征以 及人工晶体位置特 征。 5.根据权利要求4所述的一种基于深度 学习的白内障手术评价方法， 其特征在于， 对手 术中切口环 节进行分类评价的步骤 包括： A1、 根据所述角膜缘 位置特征拟合角膜缘确立角膜缘中心； A2、 以角膜缘中心为 参考点根据手术器械的位置信息得到手术器械的相对运动轨 迹； A3、 将手术器械的相对运动轨迹与角膜缘形态特征输入至预设分类评价网络中依据 ICO‑OSCAR标准对手术切口环 节进行评价， 得到手术切口环 节的操作评分。 6.根据权利要求4所述的一种基于深度 学习的白内障手术评价方法， 其特征在于， 对手 术中撕囊环 节进行分类评价的步骤为： 将光流场信息输入至预设分类评价网络中依据ICO ‑OSCAR标准对手术中撕囊环节进行 评价， 得到手术中撕囊环 节的操作评分。 7.根据权利要求4所述的一种基于深度 学习的白内障手术评价方法， 其特征在于， 对手 术中人工晶体植入环 节进行分类评价的步骤为： B1、 将通过通用型网络提取的角膜缘位置特征人工晶体位置特征进行拟合， 得到两者 各自的中心点 位置信息；权　利　要　求　书 1/2 页 2 CN 114782855 A 2B2、 将两者的中心点位置信息输入至预设分类评价网络中依据ICO ‑OSCAR标准对手术 中人工晶体植入环 节进行评价， 得到手术中人工晶体植入环 节的操作评分。 8.一种基于深度 学习的白内障手术评价系统， 其特征在于， 包括至少一个处理器、 以及 至少一个存储器， 其中， 所述存储器存储有计算机程序， 当所述程序被所述处理器执行时， 使得所述处理器能够执行权利要求1 ‑7任一项所述的基于深度学习的白内障手术评价方 法。 9.一种计算机可读存储介质， 其特征在于， 当所述存储介质中的指令由设备内的处理 器执行时， 使得所述设备能够执行权利要求1 ‑7任一项所述的基于深度学习的白内障手术 评价方法。权　利　要　求　书 2/2 页 3 CN 114782855 A 3