对于流水线上多类产品不规则混合放置条件下的统计问题,利用基于faster R-CNN和改进的深度卷积网络结合的图像识别方法,实现了对产品的在线分类计数。首先利用faster R-CNN方法获取图像中产品的位置信息,然后用改进的深度卷积网络对图像进行特征提取,将产品区域的位置信息映射到最后一层特征图上,再用ROI池化对产品区域特征进行尺度归一化,把归一化后的产品特征输入softmax分类器识别,从而实现了分类统计。实验结果表明,该方法能够在工业生产中实现多类混线产品在线自动分类统计。

为了实现工作人员在集控中心进行站所内的巡检和操作任务,提出了一种带电操作机器人系统。该系统是以基于图像识别的操作机器人为本体的智能系统,用于执行变电房高压柜的状态识别和开关操作。针对该机器人系统,提出了一种基于三维点云的深度相机标定方法,实现了机器人手眼坐标系的统一。设计了一种针对旋转类型按钮的定位算法,实现了机器人对开关的定位和操作。实验表明,将带电操作机器人部署在实际站所中进行测试,对旋钮类型开关、压板及按钮的一次性操作成功率达到93.88%。由此得出,该机器人系统能够稳定运行,并可实现高压电柜上4种类型开关的自动化操作,该研究为智能变电站的发展做出了有效探索。

三维重建课题虽然已经被提出了40余年,但其依然存在效率低、准确性差与模型有歧义等问题。针对上述问题以法兰零件为例提出一种基于工图图像的法兰零件重建方法,方法以工程图纸的扫描图像为研究对象,对其进行降噪、分割与细化等处理,然后采用Harris角点识别算法与Hough圆检测算法提取并统计其上特征,并采用BP神经网络识别并提取零件重建的必要参数,最终实现了法兰模型的三维重建。为工程图纸的三维重建提供了新思路与方法,对后续研究有一定的指导意义。

对《机械工程材料综合实验》课程后期的金相组织图像处理,以深度学习代替人眼观察进行自动识别分类。通过建立金相组织图像库,分析各类材料金相组织的不同形态特征,结合Alexnet神经网络模型,研究面向不同组织金相识别的Alexnet迁移学习方法,实现金相图像的自动识别。在4类不同的金相组织图像样本库上进行图像识别实验,准确率达到99.63%,能够快速地实现不同材料的区分。与通过人眼观察的方法对比,可大大减少人工操作的工作量,且方法迅速准确。

针对工业现场中大量传统仪表并不具有数据通信能力，无法与工业无线通信装置连接的问题，提出了一种采用图像传感器获取仪表表盘图像，通过图像识别得到仪表读数并进行本地显示和无线传输的工业仪表识读装置的设计方案。介绍了无线识读装置的主要结构和工作原理。

基于微型讣算机摄像头和激光发射器的一种智能距离测试系统设计。利用计算机的高速运算，采用图像识别技术，只用一个摄像和激光笔就可以测出距离。极大地节约了成本利重量，在机器人及飞行器中得到了很好的作用。

将图像识别技术应用于印制线路板精密检测，构建了印制线路板的精密测试系统，研究了亚像素边缘定位算法，继而开发出一套拥有自主知识产权的印制线路板精密测试软件；最后在自行研发的印制线路板测试系统上进行试验研究，结果表明该系统具有较高的测试精度、可以满足印制线路板的测试要求。

针对钕铁硼永磁体在加工制作微型结构时成型困难且易脆的问题,采用磁流变液作为微型磁控机器人的驱动材料,设计一种用于人体胃部靶向送药的球形磁控机器人。根据磁流变液的流变机理,分析磁性颗粒在磁场中的力学关系,建立球形磁控机器人的动力学模型并进行仿真分析。搭建机器人运动图像获取系统,并利用霍夫变换圆检测算法计算该机器人的位移。最后,制作机器人样机并在具有空间磁场的实验平台中进行运动测试。结果表明,基于磁流变液的球形磁控机器人易于控制并且运动稳定、可靠。

通过调研国内外纸币面额识别技术的研究现状，设计了一种基于紫外荧光图像的人民币面额识别算法，该算法利用在紫外光照射下人民币正面的荧光面额区域作为识别特征，经过简单的图像预处理（包括倾斜校正、图像二值化、滤波和形态学处理等）操作，综合运用几何结构分析和模板匹配的方法实现对六种人民币面额的识别，识别率达到99％以上，平均识别时间在0．04s以内。该算法识别效果好并且满足一定的实时性，经过改善可以运用到自动售货机、点钞机、清分机、ATM机等实际系统中。

研究视觉跟踪系统,以三轴运动控制机床为研究平台,结合CCD相机、运动控制卡等硬件,构建了一个工业机器人视觉跟踪系统。通过混合高斯模型进行背景建模以区分动态物体和静态场景以及对动态物体的追踪;通过相机标定、阀值分割、边缘检测、形心标定进行对目标物体的识别和定位;通过上位机控制步进电机向运动控制器发射脉冲以实现三轴平台的运动,控制机械手对动态目标物体进行抓取。