基于动态概率抽样的标签噪声过滤方法

在机器学习问题中,数据质量对系统预测的准确性产生了深远的影响.由于信息获取的难度大,人类的认知主观且有限,导致了专家无法准确标记所有样本.而近年来出现的一些概率抽样方法无法避免样本人为划分不合理且主观性较强的问题.针对这一问题,提出一种基于动态概率抽样(DPS)的标签噪声过滤方法,充分考虑各个数据集样本间的差异性,通过统计各个区间内置信度分布频率,分析各个区间内置信度分布信息熵的走势,确定合理阈值.在UCI经典数据集中选取了14个数据集,将所提方法与随机森林(RF)、HARF、MVF、局部概率抽样(LPS)等方法进行了对比实验.实验结果表明,所提出的方法在标签噪声识别和分类泛化上均展示出了较高的能力.