方面级多模态协同注意图卷积情感分析模型

目的 方面级多模态情感分析日益受到关注，其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够，限制了方面级多模态情感分析的性能。为了解决上述问题，提出一个方面级多模态协同注意图卷积情感分析模型（aspect-level multimodal co-attention graph convolutional sentiment analysis model,AMCGC）来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐，以提升情感分析性能。方法 AMCGC为了获得方面导向的模态内的局部语义相关性，利用正交约束的自注意力机制生成各个模态的语义图。然后，通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示，并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐，从而降低模态间的异构鸿沟。最后，设计方面掩码来选用各模态图表示中方面节点特征作为情感表征，并引入跨模态损失降低异质方面特征的差异。结果 在两个多模态数据集上与9种方法进行对比，在Twitter-2015数据集中，相比于性能第2的模型，准确率提高了1.76%；在Twitter-2017数据集中，相比于性能第2的模型，准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估，验证了AMCGC模型各部分的合理性。结论 本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐，提升方面级多模态情感分析的准确性。