针对传统上肢康复器械信息处理缓慢、康复效果差的问题,设计基于视觉与触觉双信息的上肢康复训练机器人运维系统。在系统硬件部分,采用三维触觉操作器Phantom操控虚拟手臂,利用Camshift算法完成对不同颜色物体的跟踪,通过加权集成算法实现对触觉压力数据的操作;在系统软件部分,基于ARAT的抓握测试,评估手臂的抓握能力,采用双侧训练模式和脑电训练模式,修复患者肌力受损部位,通过奇异值分解方法,完成对矩阵目标函数值的求解,利用ICP算法处理图像轮廓特征点,实现图像的配准。实验结果表明,该系统配准精度高,可以完成预期目标,且跟踪效果佳。