基于多模态融合的动态手势识别研究

针对复杂环境中动态手势识别精度低且鲁棒性不强的问题,提出一种基于多模态融合的动态手势识别算法TF-MG.TF-MG结合深度信息和三维手部骨架信息,利用2种不同网络分别提取对应特征信息,然后将提取的特征融合输入分类网络,实现动态手势识别.针对深度信息运用运动历史图像方法,将运动轨迹压缩到单帧图像,使用MobileNetV2提取特征.针对三维手部骨架信息采用门控循环神经单元组成的DeepGRU对手部骨架信息进行特征提取.实验结果表明,在DHG-14/28数据集上,对14类手势识别精度达到93.29％,对28类手势识别精度达到92.25％.相对其他对比算法实现了更高的识别精度.