基于跨模态特征增强的RGB-T行人检测算法研究

针对目标检测任务中目标受光照变化、遮挡等不利的影响,导致检准确率低、丢失率高的问题,提出了一种跨模态特征增强网络,用于RGB-T图像目标检测.构建双模态特征提取网络,用于可见光和热红外图像深度特征的提取;通过空间和通道注意力机制对提取的双模态特征信息进行跨模态特征增强,提高2种模态特征信息的表征能力;对双模态特征进行像素信息融合,在特征层次上实现RGB-T图像的信息互补.在KAIST多谱行人检测数据集上的检测速度达到了47帧每秒(FPS),丢失率仅有5.17％.实验结果表明,跨模态特征增强算法能够有效融合可见光与红外特征,降低检测的丢失率.