(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210859454.9 (22)申请日 2022.07.21 (71)申请人 江苏航鼎智能装备有限公司 地址 211153 江苏省南京市江宁区吉印大 道1888号 (72)发明人 戴家隆　张腾飞　嵇玮玮　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 牛婧 (51)Int.Cl. B25J 9/16(2006.01) G06T 7/10(2017.01) G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 7/90(2017.01) (54)发明名称 一种基于双目视觉的机械臂目标物体抓取 方法 (57)摘要 本发明公开了一种基于双目视觉的机械臂 目标物体抓取方法， 包括： 将双目视觉相机水平 放置， 获取 RGB图像， 转换成HSV颜色 空间， 获得深 度信息； 将RGB图像的像素坐标结合深度信息得 到目标物体在双目视觉相机坐标系中的三维空 间坐标， 结合双目视觉相机的坐标系原点转换成 机械臂基座坐标系的笛卡尔坐标， 计算目标物体 在机械臂 基座坐标系的三维坐标； 通过目标物体 在机械臂基座坐标系中的方位角、 极角、 机械臂 末端旋转角获取机械臂末端的抓取姿态； 将目标 物体在机械臂基座的三维坐标及抓取姿态作为 控制信息发送至机械臂控制器， 实现目标物体的 抓取。 该机械臂目标物体抓取方法具有鲁棒性 强、 精确度高的特点。 权利要求书3页 说明书7页 CN 115383740 A 2022.11.25 CN 115383740 A 1.一种基于双目视 觉的机械臂目标物体抓取 方法， 其特 征在于， 具体包括如下步骤： 步骤1、 将双目视觉相机水平放置， 使得所述双目视觉相机与机械臂底座处于同一水平 面上， 通过双目视 觉相机获取 带有目标物体的RGB图像； 步骤2、 将带有目标物体的RGB图像转换成HSV颜色空间， 获得目标物体距离双目视觉相 机的深度信息； 步骤3、 将带有目标物体的RGB图像的像素坐标结合深度信 息得到目标物体在双目视觉 相机坐标系中的三维空间坐标； 步骤4、 将双目视觉相机的坐标系原点转换成机械臂基座坐标系的笛卡尔 坐标， 结合目 标物体在双目视觉相机坐标系中的三 维空间坐标， 计算目标物体在机械臂基座坐标系的三 维坐标； 步骤5、 通过目标物体在机械臂基座坐标系中的方位角、 极角、 机械臂末端旋转角获取 机械臂末端的抓取姿态； 步骤6、 将目标物体在机械臂基座的三维坐标及抓取时机械臂末端的抓取姿态作为控 制信息发送至 机械臂控制器， 实现目标物体的抓取。 2.根据权利要求1所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 所述双目视觉相机的识别区域为机械臂工作半径范围， 且所述双目视觉相机位置与 识别区 域的距离为0.8 ‑20.0m。 3.根据权利要求1所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 所述双目视觉相机获取带有目标物体的RGB图像前需要先矫正双目视觉相机中左、 右摄像 机的左、 右内参。 4.根据权利要求1所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 步骤2的具体过程为： 将带有目标物体的RGB图像转换成HSV颜色空间， 根据目标物体在HSV 颜色空间中的饱和度区间和色调区间的阈值来分割目标物体， 同时将识别到的目标区域位 置与目标物体的深度图像进行匹配， 获得目标物体距离双目视 觉相机的深度信息 。 5.根据权利要求1或4所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在 于， 所述目标物体距离双目视 觉相机的深度信息d为： 其中， n表示识别区域像素点个数， i为识别区域像素点的索引， di为识别区域中每个像 素点的深度信息 。 6.根据权利要求1所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 步骤3包括如下子步骤： 步骤31、 建立图像平面坐标系， 将带有 目标物体的RGB图像的像素坐标(u,v)转换到图 像平面坐标系下， 得到对应的图像物理坐标(x,y)： 权　利　要　求　书 1/3 页 2 CN 115383740 A 2其中， dx表示像素在x轴上的物理尺寸， dy表示像素在y轴上的物理尺寸； 步骤32、 建立双目视觉相机坐标系， 根据双目视觉相机成像原理 将图像物理 坐标(x,y)转换成目标物体在 双目视觉相机坐标系中的三维空间坐标(X,Y,Z)： 其中， f表示双目视觉相机的整体焦距， d为目标物体距离双目视觉相机的深度信息， fx 为图像像素坐标系转图像物理坐标系的过程中， x方向上单位像素的缩放倍数， fy为图像像 素坐标系转图像物理坐标系的过程中， y方向上 单位像素的缩放 倍数。 7.根据权利要求1所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 所述目标物体在机 械臂基座 坐标系的三维坐标(x2,y2,z2)的计算过程 为： 其中， θ为机械臂基座坐标系相对于双目视觉相机坐标系在z轴上的旋转角， (x1,y1,z1) 为双目视觉相机的坐标系原点转换成的机械臂基座坐标系的笛卡尔坐标， (X,Y,Z)为目标 物体在双目视觉相机坐标系中的三维空间坐标。 8.根据权利要求1所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 步骤5包括如下子步骤： 步骤51、 以机械臂基座指 向双目视觉相机方向为x轴正方向， x轴正方向逆时针旋转90 度为机械臂基座y轴正方向， 计算目标物体在机械臂基座坐标系中的方位角 α、 极角 β 和机械 臂末端旋转角ω； 步骤52、 将计算的方位角α、 极角β和机械臂末端旋转角ω进行ZYZ 的欧拉旋转， 得到四 元数(x′,y′,z′,w′)作为机械臂末端的抓取姿态： 9.根据权利要求8所述的一种基于双目视觉的机械臂目标物体抓取方法， 其特征在于， 若目标物体(x2,y2)位于机械臂基座 坐标系的第一象限， 方位角 α 为： 若目标物体(x2,y2)位于机械臂基座 坐标系的第二象限， 方位角 α 为：权　利　要　求　书 2/3 页 3 CN 115383740 A 3