本文介绍了NiosⅡ的结构特点及开发流程，利用NiosⅡ软核设计一个机器人实时目标跟踪控制器。控制器由NiosⅡ作为处理器，采用线性卡尔曼滤波器算法来快速完成运动估计及进一步分析和校正，实现快速而准确的跟踪。从而改善多关节机器人跟踪运动目标过程中存在的彩色图像数据量大、处理时间长的问题，提高了实时性。

在视觉感知识别目标位姿后,机器人正确移动到指定位姿需进行手眼标定。若机器人进行三维空间操作,需进行三维手眼标定。针对空间物体抓取提出方法:通过设定机器人在x、y、z三个方向上的限位,根据工作需要为机器人定义一个工作区域,机器人以定步长定轨迹路线在区域内移动,使用迭代最近点算法求解手眼标定转换矩阵,采用下山单纯形法对转换矩阵进行优化,减小标定误差。实验结果表明:平均标定误差比传统基准法减小了18.90%,所需时间减少了49.12%。

在机器人抓取物体的过程中,机器人要调整自身的位姿,以适应物体位姿的变化。提出了一种基于高斯混合模型的适应性抓取方法,实现了机器人在较大工作区域中对物体的抓取。该方法采用高斯混合模型进行建模,构建物体的观测变量与机器人关节变量之间的映射关系。机器人抓取物体时,首先通过相机获取物体的观测变量,分别计算各个高斯分布下该观测变量的生成概率,选取后验概率最大的分布对应的高斯过程回归得到适应性的机器人关节角度。实验结果表明,采用高斯混合模型建模,比采用单一的高斯过程建模能够使机器人更好地实现适应性抓取。