(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211126296.2 (22)申请日 2022.09.16 (71)申请人 苏州中科 行智智能科技有限公司 地址 215000 江苏省苏州市苏州工业园区 金鸡湖大道88号人工智能产业园E1- 002单元 (72)发明人 陈亚新　陈刘明　 (74)专利代理 机构 苏州翔远专利代理事务所 (普通合伙) 32251 专利代理师 陆金星 (51)Int.Cl. B25J 9/16(2006.01) B25J 13/00(2006.01) B25J 19/00(2006.01) B25J 19/04(2006.01)G06T 7/80(2017.01) (54)发明名称 一种基于3D视觉自适应标定系统及实现方 法 (57)摘要 本发明公开了一种基于3D视觉自适应标定 系统及实现方法， 所述系统包括机械手、 机器人 末端夹具、 相机、 标定物、 计算机， 所述机械手设 置于基础坐标系下， 所述机器人末端夹具设置于 机械手上， 所述相机或标定物设置于机械手上， 且相机或标定物与机器人末端夹具固定连接， 所 述计算机用于人机交互。 所述实现方法用于获取 机器人坐标系和相机坐标系的关系， 最后将视觉 识别的结果转移到机器人坐标系下。 本发明解决 了姿态信息缺失、 定位坐标不准确、 标定流程繁 琐的问题， 提高了工业抓取精度并实现自动化标 定。 权利要求书2页 说明书6页 附图1页 CN 115464646 A 2022.12.13 CN 115464646 A 1.一种基于3D视觉自适应标定系统， 其特征在于： 所述系统包括机械手、 机器人末端夹 具、 相机、 标定物、 计算机， 所述机械手 设置于基础坐标系下， 所述机器人末端夹具设置于机 械手上， 所述相机或标定物设置于机械手上， 且相机或标定物与机器人末端夹具固定连接， 所述计算机用于人机交 互。 2.根据权利要求1所述的一种基于3D视觉自适应标定系统及实现方法， 其特征在于： 所 述系统分为眼在外模式与眼在手模式， 所述眼在外模式的相机和机器人末端夹具固定连 接， 标定位固定在相机、 机器人末端夹具外； 所述眼在手模式的标定物和机器人末端夹具固 定连接， 相机固定在机器人末端夹具外 。 3.根据权利要求1所述的一种基于3D视觉自适应标定系统及实现方法， 其特征在于： 所 述机械手为六轴机械手， 所述机器人末端夹具用于作为实际执行机构， 所述相 机为双目结 构光相机 。 4.一种基于权利要求1所述3D视觉自适应标定系统 的实现方法， 其特征在于： 所述实现 方法用于获取机器人坐标系和相机坐标系的关系， 最后 将视觉识别的结果转移到机器人坐 标系下。 5.根据权利要求4所述的一种基于3D视觉自适应标定系统 的实现方法， 其特征在于， 包 括如下具体步骤： (1)利用相机采集 点云， 设置模板点云为Model， 定义场景点云为Scene； (2)机械手在相机的视野范围内给 出姿态信息， 并传递给计算机； (3)去除点云的噪点以及背景点云； (4)在场景点云Scene中， 利用点对特 征表面匹配进行获取 标定物在相机的姿态信息； (5)根据机器人在基础坐标系下的姿态和标定物在相机坐标系下的姿态求 解Ax＝xB： Eye to hand求解矩阵x＝Cam  To Base； 其中， Eye to hand为眼在外模式， Cam  To Base为相机坐标系在基础坐标系下的姿态； Eye in hand求解矩阵x＝Cam  To Tool； 其中， Eye in hand为眼在手模式， Cam  To Tool为工具坐标系在相机坐标系下的姿态； (6)根据重投影误差筛选出误差大的点云， 并将其剔除， 重新从步骤(3)开始执行； 如果 误差都符合要求时则执 行输出x的标定矩阵； (7)建立残差方程： Eye to hand： Tool To Base 2*Tool To Base 1.inv*Cam  To Base＝Cam  To Base*Obj  To Cam 2* Obj To Cam 1.inv； 其中， Eye  to hand为眼在外模式， Tool  To Base 1为机器人在基础 坐标系下的一种姿 态， Tool To Base 2为机器人在基础坐标系下的另一种姿态， inv为矩阵的逆， Cam  To Base 为相机坐标系在基础坐标系下的姿态， Obj  To Cam 1为标定物在相机坐标系下的一种姿 态， Obj To Cam 2为标定物在相机坐标系下的另一种姿态； Eye in hand： Tool To Base 2.inv*Tool  To Base 1*Cam To Tool＝Cam  To Tool*Obj  To Cam 2* Obj To Cam 1.inv； 其中， Eye  in hand为眼在手模式， Tool  To Base 1为机器人在基础 坐标系下的一种姿权　利　要　求　书 1/2 页 2 CN 115464646 A 2态， Tool To Base 2为机器人在基础坐标系下的另一种姿态， inv为矩阵的逆， Cam  To Tool 为工具坐标系在相机坐标系下的姿态， Obj  To Cam 1为标定物在相机坐标系下的一种姿 态， Obj To Cam 2为标定物在相机坐标系下的另一种姿态； 将x作为输入参数， 根据残差方程迭代求 解； (8)定义机器人在基础坐标系下的姿态： Eye to hand： Obj To Tool＝Base To Tool*Cam To Base*Obj To Cam； 其中， Eye  to hand为眼在外模式， Obj  To Tool为工具坐标系在标定物坐标系下的姿 态， Base To Tool为Tool  To Base的逆矩阵， 即为机器人在基础坐标系下的姿态的逆矩阵， Cam To Base为相机坐标系在基础坐标系下的姿态， Obj  To Cam为标定物在相机坐标系下 的一种姿态； Eye in hand： Obj To Tool＝Base To Tool Grab*(Tool  To Cam*Base To Tool Photo).inv*Obj   To Cam； 其中， Eye  in hand为眼在手模式， Obj  To Tool为工具坐标系在标定物坐标系下的姿 态， Base To Tool Grab为抓取时的姿态， Tool  To Cam为机器人在相机坐标系下的姿态， Base To Tool Photo为拍照时的姿态， inv为矩阵的逆， Obj  To Cam为标定物在相机坐标系 下的姿态； (9)计算抓取时的姿态： Eye to hand： Tool To Base＝Cam  To Base*Obj To Cam*Tool To Obj； 其中， Eye  to hand为眼在外模式， Tool  To Base为机器人在基础坐标系下的姿态， Cam   To Base为相机坐标系在基础坐标系下的姿态， Obj  To Cam为标定物在相机坐标系下的一 种姿态， To ol To Obj为机器人在标定物坐标系下的姿态； Eye in hand： Tool To Bsae＝(Tool  To Cam*Base  To Tool Current).inv*Real  Obj To Cam*Tool   To Obj； 其中， Eye  in hand为眼在手模式， Tool  To Base为机器人在基础坐标系下的姿态， Tool To Cam为机器人在相机坐标系下的姿态， Base  To Tool Current为当前的机器人在 基础坐标系下的姿态， inv为矩阵的逆， Real  Obj To Cam真实的标定物在相机坐标系下的 姿态， Tool To Obj为机器人在标定物坐标系下的姿态。 6.根据权利要求5所述的一种基于3D视觉自适应标定系统 的实现方法， 其特征在于： 所 述步骤(2)中六轴机 械手通过TCP通讯传递给计算机 。权　利　要　求　书 2/2 页 3 CN 115464646 A 3