基于双语义双向对齐VAE的广义零样本学习

广义零样本学习(GZSL)旨在利用视觉特征和语义信息之间的关系来同时识别可见类和不可见类.现有的大部分方法使用生成模型生成不可见类的伪视觉特征,但一般采用单向对齐 VAE 且语义原型种类单一,导致不可见类的语义信息非常有限.因此,提出了一种基于双语义双向对齐变分自编码器的广义零样本学习模型,首先采用户定义的属性和词向量两种语义原型,基于双向对齐的VAE分别稳定地生成 2 种伪视觉特征来获取丰富的语义信息;然后,设计了特征融合模块对2种伪视觉特征进行有效融合,并去除其中的冗余信息,增强伪视觉特征表示;最后,采用分类正则化进一步增强伪视觉特征的类别独立性.在3个基准数据集上进行了大量实验,并与相关算法模型进行了比较,结果表明了该模型的有效性.