针对工业机器人在抓取工件过程中需要识别和定位工件的问题,提出了一种基于改进法矢计算的点云局部描述符SHOT的三维物体识别与位姿估计的方法。首先,对三维扫描仪获取工件表面点云进行预处理和分割,得到用于匹配的工件点云模板数据集;其次,采用均匀采样算法提取特征点集,通过SHOT特征描述符对场景点云与模板点云提取的特征点进行点云局部描述;最后,利用Kd树建立初始对应对,引入3D霍夫投票机制通过点云局部坐标系各向量之间的转换关系完成工件识别,根据对应关系求解出初始变换矩阵。基于ICP算法进行精确配准,得到工件的精确位姿信息。实验结果表明该方法与基于ICP算法进行对比,提高了配准精度,可以得到精确的位姿估计信息,为在机器人应用中工件定位抓取提供精确的位姿检测方法。

针对机器人在抓取电子元器件中目标实时精准定位的问题,应用点云配准技术,提出了一种扩展的二进制特征描述子(EB_SHOT)的电子元器件点云配准算法。首先,对采集的电子元器件点云进行ISS关键点提取,获取点云表面均匀分布且具有显著特征的点集。其次,对关键点采用SHOT特征描述和位置空间信息相结合的方法生成E_SHOT特征描述子,并将其编码为EB_SHOT特征描述子。最后,基于FLANN特征点搜索路径进行SAC-IA和ICP相结合的点云配准方法,得到点云之间的空间坐标变换矩阵,从而获得电子元器件的位姿信息。实验结果表明,使用这里方法进行电子元器件点云配准,在配准精度和速度上均有所提高,满足机器人抓取的要求。

现有标定方法得到的相机参数与真实物理意义并不能精确对应,因为物理参数不能作为独立的未知数出现在方程中而是耦合在一起。当需要独立使用某参数时,必须分解投影矩阵,造成很大误差。为此提出了一种逐级标定相机各参数的方法。鉴于位姿对等效焦距敏感,基于位姿估计的变化量来标定等效焦距,然后采用平面单应提供的约束方程求解主点,用正交迭代算法来估计外参,最后计算畸变系数。实验验证了方法的正确和高精度。避免了参数之间的耦合,各参数与其物理意义相符,可独立使用。

针对管件在机器人抓取中的分类识别、位姿估计等问题,对随机摆放管件的模板匹配识别、立体匹配和三维位姿估计进行了研究。通过标定得到左右相机的内外参数,然后进行双目标定、矫正以及手眼标定。优化了模板匹配算法,利用亚像素级精度提取管件的边缘轮廓。选择合适的图像金字塔层数以提高匹配速度,实现多类型管件的分类识别。通过立体匹配提取管件视差图,结合标定参数和双目视觉的三角测距原理实现管件的位姿估计,并进行多组位姿提取实验。设计开发MFC和Halcon联合编程的管件识别与位姿估计系统。实验结果表明:该系统可实现管件在随机摆放情况下的实时准确分类识别与位姿估计,满足工业的实际应用需求。

针对汽车转向节自动化加工需求,研究转向节位姿估计实现方法。构建转向节检测整体方案,对相机畸变进行标定,并根据标定结果产生点云;针对转向节中心孔尺寸存在偏差,无法直接利用点云配准技术实现3D坐标间接定位问题,利用2D图像处理确定像素坐标配合深度相机索引深度值确定抓取点3D坐标;对转向节不同姿态估计问题,利用SAC-IA算法将待检测转向节点云与模板转向节点云进行初始配准,再利用NDT算法进行细配准;开发软件进行测试。结果表明:用所提算法细配准,匹配得分为27 mm2,验证了转向节姿态估计的精度。

针对2D图像识别缺乏3D姿态信息,而传统的3D视觉需要处理大量点云,运算时间较长等问题,提出一种基于改进Mask R-CNN与局部点云迭代优化相结合的机器人拆垛、分拣及码垛策略。对Mask R-CNN网络进行改进,在其ROIAlign结构之后加入空间变换网络模块,提升识别准确率;利用改进的Mask R-CNN网络对目标进行实例分割,结合场景点云分割得到物体感兴趣区(ROI)场景局部点云;采用加入K维树邻域搜索的迭代最近点算法将物体ROI场景局部点云与模板点云进行配准,最终得到位姿估计的结果。UR5协作机器人根据此结果解决拆垛、分拣及码垛问题,实验结果表明:利用改进的Mask R-CNN网络提升了目标识别的准确率,使用ROI局部点云法减少了场景点云与模板点云配准的迭代次数,提高了工业机器人的拆垛、分拣及码垛效率。

针对视觉测量过程中配合目标特征点在成像时灰度模式的各向异性且非独立同分布对位姿估计求解的影响,建立了基于特征点测量误差不确定性加权的位姿估计目标函数。利用协方差矩阵描述特征点的方向不确定性,分析成像特征点的不确定性对目标函数的作用权重,并将特征点测量误差的不确定性融入到空间共线性误差函数中,进而构造了基于成像特征点测量误差不确定性加权的新目标函数。该方法适应于特征点测量误差具有不同程度的方向不确定性的情况,最后通过广义正交迭代算法对该目标函数进行迭代优化求解。实验表明,当测量空间为2 300 mm×1 400 mm×1 400 mm,采用新目标函数得到靶标重投影后图像坐标的最大误差不超过0.11 pixel,立体视觉系统对标准杆的相对测量精度优于0.01%。所得的结果验证了新目标函数的位姿估计精度高、稳定性强,适用于实际的...