互编码器辅助视频的多模态场景分类
Journal of Nanjing University of Posts and Telecommunications(Natural Science)（2023）
摘要
为了解决多模态场景分类准确率不高的问题,文中提出一种由互编码器辅助视频的多模态场景分类方法.音频部分首先对输入音频数据进行特征提取并且使用 自注意力机制取得关注信息,图像部分首先对视频进行分帧图片提取,然后通过ResNet50网络进行特征提取,随后提取到的双模态信息进入互编码器,互编码器通过提取各个模态隐层特征进行特征融合,融合后的新特征结合attention机制辅助视频特征.在该模型中,互编码器为融合特征的辅助系统.实验基于DCASE2021 Challenge Task 1B数据集进行验证,结果表明互编码器能够提升分类准确率.
更多关键词
audio-visual scene classification,self-attention mechanism,multimodal learning,encoder,variational autoencoder
AI 理解论文
溯源树
样例
生成溯源树，研究论文发展脉络
Chat Paper
正在生成论文摘要