基于预训练和深度哈希的大规模文本检索研究
Computer Science（2021）
摘要
针对文本检索中存在的检索效率和准确率不高的问题,提出一种基于预训练语言模型和深度哈希方法的检索模型.该模型首先通过迁移学习的方法引入预训练语言模型中所包含的文本先验知识,之后进行特征提取,将输入转化为高维的向量表示.在整个模型的后端加入哈希学习层,通过设计特定的优化目标对模型的参数进行微调,从而在训练中动态地学习哈希函数和每个输入的唯一哈希表示.实验表明,该方法的检索准确率相较于其他基准模型在top-5和top-10指标上分别有至少21.70％和21.38％的提升,哈希码的引入使得模型在仅损失4.78％准确率的前提下将检索速率提升了 40倍,因此该方法能够显著提升检索准确率和效率,且在文本检索领域有着潜在应用前景.
更多查看译文
关键词
deep learning|similarity retrieval|pre-trained language model|deep hash
AI 理解论文
溯源树
样例
生成溯源树，研究论文发展脉络
Chat Paper
正在生成论文摘要