利用卷积块注意力机制识别人体动作的方法

针对动作识别任务中注意力模型在关注图像序列中的感兴趣区域时,更多侧重于通道间的相关性而忽视了特征的空间位置信息,因而缺乏对视频中动态区域的精准辨识能力,提出基于注意力机制和卷积长短时记忆网络的动作识别方法.首先,使用ResNet-50网络获取视频帧的特征表示,并利用卷积块注意力模块,先通过通道注意力分配特征图在不同卷积通道上的资源,再以空间注意力去分析不同特征图中显著元素的空间位置关系.从而实现对卷积特征图权值的优化调整,抑制或降低与动作无关区域带来的影响.同时,考虑到长短时记忆网络(LSTM)在处理时空数据时丢失了图像帧的空间结构信息,而卷积长短时记忆网络(ConvLSTM)借助卷积操作挖掘了图像中的空间相关性,对视频属性的完整性表示做了进一步的补充.因而,使用卷积长短时记忆网络对特征的序列信息进行建模并获得帧级别的预测,最终综合所有帧的预测共同确定视频的类别.在三个公开数据集上的实验结果表明,所提方法能够有效地突出视频中关键性区域,在一定程度上提升了动作识别的准确率.