针对移动机器人在复杂环境中使用单一传感器进行同时定位与建图存在的精度不足、扫描范围有限等问题,提出一种将激光雷达与Kinect深度相机两种传感器数据融合的方法。首先对Kinect深度数据进行降维处理,然后使用卡尔曼滤波对激光数据与Kinect深度数据进行融合,在建图阶段使用贝叶斯估计将激光雷达与Kinect各自生成的二维局部栅格地图进行融合。通过实验表明,该方法获得的地图包含更加丰富的环境信息,有助于后续的导航避障工作。

针对传统的AdaBoost人脸检测算法需要对整张图像进行穷举,时间成本比较高,文中采用Kinect v2传感器获得的深度信息对人脸进行初定位,将人脸区域从背景中分割出来,再利用AdaBoost人脸检测算法对人脸进行检测。经实验验证该人脸检测算法能有效提高人脸检出率,缩短人脸检测时间。

在虚拟装配领域中,提升用户体验和交互精度一直是研究的重点。在利用Azure Kinect人体跟踪技术获取手部信息的基础上,研究利用SVM算法提高手势识别准确率的方法,通过参数寻优进一步优化了参数模型。在Unity3D平台上开发了虚拟装配系统,将优化后的手势识别应用在虚拟装配系统中并实现了主要装配功能,同时加入语音识别进行辅助装配。实验结果表明:通过SVM算法优化后,手势识别更加准确、稳定,提升了虚拟装配系统的用户体验和交互准确性。

文中实现了对delta机械手的手势控制,通过手势各方位移动控制机械手的位置；通过手势倾斜控制动平台圆盘的旋转；通过手势合拢与张开控制机械爪的抓取.

文中介绍了如何运用手势进行3D建模,通过曲度传感器捕获不同手指的曲度来实现在建模中的各种功能,通过编程实现建模的实时显示和生成DXF文件,从而导入现有的三维建模软件.