在虚拟装配领域中,提升用户体验和交互精度一直是研究的重点。在利用Azure Kinect人体跟踪技术获取手部信息的基础上,研究利用SVM算法提高手势识别准确率的方法,通过参数寻优进一步优化了参数模型。在Unity3D平台上开发了虚拟装配系统,将优化后的手势识别应用在虚拟装配系统中并实现了主要装配功能,同时加入语音识别进行辅助装配。实验结果表明:通过SVM算法优化后,手势识别更加准确、稳定,提升了虚拟装配系统的用户体验和交互准确性。