融合主题信息和Transformer莫型的健康问句意图分类

问答系统的一项关键任务就是如何理解用户的问句意图并将其正确地分类到相应的领域中,其分类性能直接影响着问答系统的质量.针对中文医疗健康问句数据量庞大但文本字符数少、特征稀疏的特点,以及传统卷积神经网络和循环神经网络的不足,提出了一种融合主题信息和Transformer模型的健康问句意图分类方法.首先,对短文本数据集预处理后通过BERT预训练语言模型生成词的词向量;其次,分别使用BTM主题模型和TWE模型获得文档-主题矩阵、主题-词矩阵和主题向量矩阵,由矩阵变换生成每个词的主题向量;然后,将词向量和词的主题向量拼接融合后输入到Transformer编码器中进行充分的特征提取并得到句子特征向量;最后,由全连接和Softmax分类器获得输入文本在各个类别的概率,从而实现最终的分类目的 .在中文医疗健康问句数据集上进行不同模型的对比实验,准确率、召回率和F1值指标上均有不错的提升.实验结果表明,本文提出的方法可以有效提高模型的语义表示能力和分类效果.