针对工业机器人编程效率低下、智能化程度不高和人机交互性能弱等问题,提出一种基于视觉的工业机器人装配演示示教系统,该系统包括目标检测与中心点定位模块、装配动作分类识别模块和机器人动作执行模块。在目标检测与中心点定位模块中,提出一种目标物体中心点定位和机器人抓取方法,使用实例分割算法识别物体类别,通过掩码均值化处理和坐标转换计算物体3D姿态信息;在装配动作分类识别模块中,建立基于深度学习网络的动作分类识别模型,该模型的输入为装配动作视频帧,输出为动作分类标签;最后,机器人动作执行模块根据物体类别、物体3D姿态和动作分类标签等信息规划机器人装配动作,控制机器人执行装配任务。以轴孔装配为例,验证了上述方法的有效性,实现了基于视觉演示的机器人装配模仿编程,对机器人演示示教研究具有一定的参考价值...

准确检测机械装配体在装配过程中的变化零部件,对于监测产品的装配顺序、提高装配质量、保障生产安全具有重要的意义。为了能够从多个角度检测机械装配体的变化零部件,提出基于三维注意力和双边滤波的机械装配体图像多视角变化检测网络(TAF Net)。为了提高机械装配体变化检测的准确性,TAF Net网络引入三维注意力机制,增强网络的细节特征提取能力;引入双边滤波,减少变化图像中的噪声,优化变化图像中零部件的边界。建立2个装配体变化检测数据集,分别为合成深度图像数据集、真实彩色图像数据集,使用2个数据集分别进行实验。结果表明:TAF Net网络能够精确检测出图像中的变化区域,在2个数据集中的综合评价指标F1_score都达到96%以上。

针对机械产品装配过程中容易产生的漏装问题,以RV减速器为研究对象,提出一种基于深度学习的装配过程监测系统。搭建装配过程监测系统实验台,使用RGB-D相机采集装配体深度图像和彩色图像;利用深度学习中语义分割和目标检测算法对采集到的深度图像和彩色图像进行预测,获得预测结果;将深度学习算法、视频采集等功能集成到装配过程监测软件中,实现了RV减速器装配过程监测。实验结果证明:此软件可以正确监测装配过程中每个零件是否存在漏装情况,并具有一定的实时性。