基于虚拟属性学习的文本-图像行人检索方法

文本-图像行人检索旨在从行人数据库中查找符合特定文本描述的行人图像.?近年来受到学术界和工业界的广泛关注.?该任务同时面临两个挑战:?细粒度检索以及图像与文本之间的异构鸿沟.?部分方法提出使用有监督属性学习提取属性相关特征,?在细粒度上关联图像和文本.?然而属性标签难以获取,?导致这类方法在实践中表现不佳.如何在没有属性标注的情况下提取属性相关特征,?建立细粒度的跨模态语义关联成为亟待解决的关键问题.?为解决这个问题,?融合预训练技术提出基于虚拟属性学习的文本-图像行人检索方法,?通过无监督属性学习建立细粒度的跨模态语义关联.?第一,?基于行人属性的不变性和跨模态语义一致性提出语义引导的属性解耦方法,?所提方法利用行人的身份标签作为监督信号引导模型解耦属性相关特征.?第二,?基于属性之间的关联构建语义图提出基于语义推理的特征学习模块,?所提模块通过图模型在属性之间交换信息增强特征的跨模态识别能力.?在公开的文本-图像行人检索数据集CUHK-PEDES和跨模态检索数据集Flickr30k上与现有方法进行实验对比,?实验结果表明了所提方法的有效性.