基于粒子群优化的全比较计算数据分发策略

全比较计算数据分发策略是提高分布式集群系统整体计算性能的关键.针对现有数据分发策略存在的计算负载不均衡、数据不能完全本地化、存储空间浪费和计算速度慢等弊端,在满足数据完全本地化的前提下以负载均衡、最优化存储作为优化目标,结合优化的粒子群算法提出了数据分发模型(Data Distribution Based on Particle Swarm Optimization,DDBPSO).DDBPSO模型分别以任务扰动、交换任务的方式对粒子进化规则进行了优化,有效避免了算法陷入局部最优.通过计算负载、存储占用和数据本地化等实验,结果表明,与开源框架Hadoop的数据分发策略相比,提出的DDBPSO模型与算法具有计算负载均衡、完全的数据本地化、存储空间占用小、计算速度快等优势.