MSOLA:基于多维分层采样的大数据在线聚集技术

在线聚集通过统计计算估计查询结果,能够在查询完成前给用户反馈,在大数据分析领域具有重要意义.现有研究工作采用统一随机采样策略,当查询出现小分组或低选择率时,导致估计结果不准确及收敛速度缓慢.针对这一问题,提出了结合负载特征和数据分布进行多维分层采样的有偏采样策略,并结合大数据处理平台Storm设计了结果估计和置信区间计算方法.实验证明所提出的方案有效提高了在线聚集估计结果的准确度,并且具有良好的扩展性.