(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210779139.5 (22)申请日 2022.07.04 (71)申请人 上海长征医院 地址 200003 上海市黄浦区凤阳路415号长 征医院胸外科 申请人 合肥工业大 学 (72)发明人 唐华　方进　吴霄钰　林爱婷　 李霄剑　辛宁　李玲　杨善林　 欧阳波　肖夕林　 (74)专利代理 机构 北京久诚知识产权代理事务 所(特殊普通 合伙) 11542 专利代理师 王云海 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/269(2017.01)G06T 7/40(2017.01) G06T 7/73(2017.01) (54)发明名称 面向手术安全保障的禁止区域型三维虚拟 夹具生成方法 (57)摘要 本发明提供一种面向手术安全保障的禁止 区域型三维虚拟夹具生成方法和系统， 涉及虚拟 夹具技术领域。 本发明中， 通过三维仿射变换对 所选择的关键点进行初始跟踪； 并结合纹理和光 流信息实现了体内环境中三维关键点的精确动 态定位与追踪； 此外， 汇总各个关键点的三维坐 标， 获取三维禁止区域， 在三维禁止区域上建立 包含斥力与粘滞阻力的虚拟力场， 即禁止区域型 虚拟夹具， 所述禁止区域型虚拟 夹具通过力反馈 机制精准约束手术器 械进入受保护组织。 权利要求书4页 说明书13页 附图2页 CN 115330678 A 2022.11.11 CN 115330678 A 1.一种面向手术 安全保障的禁止区域型三维虚拟夹具生成方法， 其特 征在于， 包括： S1、 读取内窥镜图像， 根据医生的选择获取当前帧图像上的禁止区域， 并获取该禁止区 域内所有的第一 二维关键点； S2、 跟踪当前帧图像上包含第一二维关键点的第一局部区域， 获取下一帧图像上的第 二局部区域， 并确定第一 二维关键点在下一帧图像上的初始二维关键点； S3、 根据内窥镜 图像与点云之间的映射关系， 分别将第一局部区域映射到第一局部点 云上、 第二局部区域映射到第二局部点云上； 并确定第一二维关键点在第一局部点云上 的 第一三维关键点， 通过坐标变换 得到第二局部点云上的第二 三维关键点； S4、 将第二三维关键点映射回第二局部区域， 获取下一帧图像上的第二二维关键点； 并 结合初始 二维关键点， 通过最小化预设的优化函数， 获取跟踪得到的关键点的二维坐标， 最 终获取对应的三维坐标； 并汇总各个关键点的三维坐标， 获取三维禁止区域； S5、 在三维禁止区域上建立禁止区域型虚拟夹具， 所述禁止区域型虚拟夹具通过力反 馈机制约束手术器械进入受保护组织。 2.如权利要求1所述的禁止区域型三维虚拟夹具生成方法， 其特征在于， 所述S5具体包 括： S51、 将手术器械实时的三维位置信息、 以及前述步骤获取的点云转换到同一坐标系 下， 获取三维禁止区域上离手术器械末端xins最近的点xnearest， 以及两点之间的相对距离xd； S62、 建立关于xins的人工避障矢量场： 定义三维禁止区域上所有点包含在点集Vr中， 求取Vr的子点集Vp＝{v|||xins‑v||≤|| xins‑xnearest||+Δr}， 其中Δr为 额外考察半径； 其中， g为xins的人工避障矢量场； g(||xins‑v||)为人工矢量长度函数， n(v)为由点xins 指向点v的向量， 当v对应不同组织时， 设立不同的人工矢量长度函数g(||xins‑v||)， 满足条 件 card(Vp)是子集Vp中元素的 个数； S63、 建立包 含斥力与粘滞阻力的虚拟力场： 其中， Fvf为虚拟力场； Kvf为该位置斥力与人工避障矢量的比例系数， Dvf(xd)为阻尼系 数， 随着最短距离xd进行移动； 为xins的速度。 3.如权利要求1或者2所述的禁止区域型三维虚拟夹具生成方法， 其特征在于， 所述S2 包括： S21、 首先定义第k ‑1帧图像为 其中W表示内窥镜图像的宽度， H 表示内窥镜图像的高度； 第k帧图像为 I(k)； 第一 二维关键点p(k ‑1)， 其坐标为(u1， v1)； 以第一二维关键点p(k ‑1)为第一局部区域的中心pc(k‑1)， 根据预设的区域形状和边 长， 确定第一局部区域 S22、 采用光流法对图像I(k ‑1)， I(k)进行特征点的特征匹配， 获取图像I(k)上与pc(k‑权　利　要　求　书 1/4 页 2 CN 115330678 A 21)对应的第二局部区域的中心pc(k)， 其中， 表示图像I(k)上的特征点， m表示图像I (k)上特征点的个数； S23、 根据中心pc(k)、 以及预设的区域形状和边长， 确定第二局部区域 S24、 再次采用光流法直接确定第一二维关键点p(k ‑1)在下一帧图像上的初始二维关 键点po(k)。 4.如权利要求3所述的禁止区域型三维虚拟夹具生成方法， 其特 征在于， 所述S3包括： S31、 对内窥镜图像进行深度估计， 得到与内窥镜图像相对应的深度图像； 通过按行读 取， 分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息， 获取第一局 部点云 和第二局部点云 S32、 确定第一二维关键点p(k ‑1)在第一局部点云 上的第一三维关键点 P(k‑1)＝ ψ(p(k ‑1)) ψ表示 到 之间的映射关系， 记为 S33、 利用光流法获取局部区域 的特征点对， 分别记作X和Y， 则X与Y之 间存在坐标变换关系： 其中， 是拟合函数的参数； 通过使用最小 二乘， ω可由以下公式求得： ω＝([X 1]T[X 1])‑1[X 1]TY 则P(k‑1)， P(k)之间仿射变换的变换矩阵为： 其中， 0T＝(0， 0， 0)； S34、 通过对第一 三维关键点P(k ‑1)进行三维仿射变换， 矩阵形式为： P(k)＝TAP(k‑1)。 在第二局部点云 上搜索最近的点， 获取第二 三维关键点P(k)的初始位置 。 5.如权利要求4所述的禁止区域型三维虚拟夹具生成方法， 其特征在于， 所述S31中对 内窥镜图像进行深度估计， 得到与内窥镜图像相对应的深度图像， 所使用的双目深度估计 网络具有快速过 学习的能力， 能够利用自监 督信息不断适应新场景， 具体包括： S311、 获取双目内窥镜影像， 采用当前双目深度估计网络的编码器网络提取当前帧图 像的多尺度特 征； S312、 采用当前双目深度估计网络的解码器网络， 对多尺度特征进行融合， 获取当前帧权　利　要　求　书 2/4 页 3 CN 115330678 A 3