计算机视觉中的Transformer发展综述

Transformer是基于自注意力机制的编码器-解码器架构模型,擅长建立远距离依赖关系,已经成为自然语言处理领域的主流模型.受Transformer在自然语言处理领域中取得巨大成功的启发,近两年一些开创性的工作开始研究如何将Transform-er应用于计算机视觉领域,并取得了显著的成果,目前视觉Transformer依然是研究的热点.本文对近年来Transformer在多个视觉任务上的应用与发展进行梳理、分析与总结.首先阐述了视觉Transformer基本结构与实现原理,分析了模型结构的特点与优势,梳理了视觉Transformer的研究进展.其次,介绍了Transformer在高层视觉任务、底层视觉任务和多模态任务上的典型应用模型,并详细对比了在图像分类、检测和分割领域典型视觉Transformer模型的性能指标.最后总结了当前视觉Transformer各类模型存在的问题与难点,并指出未来的发展方向.