对车辆和行人进行快速且准确的检测是机器人视觉和自动驾驶领域的一个难题,为了解决这个难题,提出一种基于深度学习网络的行人车辆检测算法,这是一种端到端的单阶段检测方法。主要使用多级跳跃连接网络和多级特征融合网络。多级跳跃链接网络在特征提取阶段避免了反向传播过程中的梯度消失、爆炸和退化等优化问题,从而提高检测精度和模型的收敛速度。多级特征融合网络对来自不同层次的多尺度特征变化尺度后进行特征信息融合,可以提取到比较低层的信息以提高算法的精度。这里的算法在多个公开的数据集上进行实验,实验结果表明,与目前的一些主流算法相比,行人和车辆的平均检测精度大幅提高,在精度提高的情况下,具有更快的检测速度,有较高的应用潜力。

本文介绍了NiosⅡ的结构特点及开发流程，利用NiosⅡ软核设计一个机器人实时目标跟踪控制器。控制器由NiosⅡ作为处理器，采用线性卡尔曼滤波器算法来快速完成运动估计及进一步分析和校正，实现快速而准确的跟踪。从而改善多关节机器人跟踪运动目标过程中存在的彩色图像数据量大、处理时间长的问题，提高了实时性。

在视觉感知识别目标位姿后,机器人正确移动到指定位姿需进行手眼标定。若机器人进行三维空间操作,需进行三维手眼标定。针对空间物体抓取提出方法:通过设定机器人在x、y、z三个方向上的限位,根据工作需要为机器人定义一个工作区域,机器人以定步长定轨迹路线在区域内移动,使用迭代最近点算法求解手眼标定转换矩阵,采用下山单纯形法对转换矩阵进行优化,减小标定误差。实验结果表明:平均标定误差比传统基准法减小了18.90%,所需时间减少了49.12%。

在机器人抓取物体的过程中,机器人要调整自身的位姿,以适应物体位姿的变化。提出了一种基于高斯混合模型的适应性抓取方法,实现了机器人在较大工作区域中对物体的抓取。该方法采用高斯混合模型进行建模,构建物体的观测变量与机器人关节变量之间的映射关系。机器人抓取物体时,首先通过相机获取物体的观测变量,分别计算各个高斯分布下该观测变量的生成概率,选取后验概率最大的分布对应的高斯过程回归得到适应性的机器人关节角度。实验结果表明,采用高斯混合模型建模,比采用单一的高斯过程建模能够使机器人更好地实现适应性抓取。