深度有序度量学习改进的课堂参与度识别

在线课堂已成为当前最重要的教学场景之一.针对当前基于视觉特征学习和距离度量学习的参与度识别模型仍然缺乏足够的判别力和稳定性等问题,本文将有序深度度量学习方法引入课堂参与度识别任务,联合建模视觉特征学习和判别度量学习.首先,提出一个有序度量损失函数建模参与度样本的有序标签结构,使得在学习获得的有序度量空间中,视觉特征与其参与度标签保持有序一致性,提高识别模型的判别力.其次,提出一种四元组困难样本构造策略,对困难正样本的视觉特征相似度进行最小化,同时最大化困难负样本的视觉特征相似度,充分挖掘困难样本,提高模型训练的效率和稳定性.最后在课堂参与度基准数据集DAiSEE上进行测试,验证了算法的有效性.