基于多流融合网络的 3D骨架人体行为识别

当前大多基于卷积神经网络的 3D骨架人体行为识别模型没有充分挖掘骨架序列所蕴含的几何特征,为了弥补这方面的不足,文章在AIF-CNN模型的基础上进行改进,提出多流融合网络模型(MS-CNN).在此模型中,新增一种几何特征(kernel特征)作为输入,起到了丰富原始特征的作用;新增多运动特征,使模型学习到更加健壮的全局运动信息.最后,在NTU RGB+D 60 数据集上进行消融实验,分别在NTU RGB+D 60 数据集、NTU RGB+D 120数据集上,将MS-CNN模型与19、8 个行为识别模型进行对比实验.消融实验结果表明:MS-CNN模型采用joint特征与kernel特征融合,其识别准确率比与core特征融合的高;随着多运动特征的增多,MS-CNN模型的识别准确率有所提高.对比实验结果表明:MS-CNN模型在 2 个评估策略下的识别准确率超过了大部分对比模型(包括基准AIF-CNN模型).