基于二源异构数据特征融合的驾驶人愤怒识别

为准确识别出驾驶员的愤怒情绪,降低道路交通安全隐患,首先设计了试验,在模拟驾驶仿真试验室搭建模拟驾驶环境,利用驾驶模拟器同步采集了车辆行驶数据和驾驶人表情数据,进而建立了车辆行驶数据集和驾驶人面部表情数据集.通过主成分分析法对车辆行驶数据集进行了特征提取,利用连续卷积的思想搭建了卷积神经网络对驾驶人表情进行特征提取,通过不断的卷积池化操作降低人脸表情的数据维数,保留表情特征.然后利用集成学习中stacking方法的思想,运用于特征融合,提出了一种新的特征级融合算法.该算法利用多分类器对提取的车辆行驶数据特征和人脸表情数据特征进行5折交叉验证预测得到融合特征,并将新特征用于搭建深度神经网络模型.模型验证表明:基于特征拼接融合的识别模型的正确率为95.17％,F1-Score为0.8682,损失值为0.0453;基于集成学习特征融合的识别模型的正确率为98.17％,F1-Score为0.9474,损失值为0.0273.所提出的基于集成学习的特征融合算法能够更加深入地融合车辆行驶数据和驾驶员面部表情数据,进而提高模型的正确率和F1-Score,降低模型的损失值.对比传统特征拼接融合方法,本模型在驾驶人愤怒情绪识别方面更具有优势.