>> 自然科学版期刊 >> 2013年03期 >> 正文
一种改进的Hadoop数据负载均衡算法
供稿: 刘琨;钮文良 时间: 2018-11-28 次数:

作者:刘琨;钮文良

作者单位:北京联合大学应用科技学院吉林大学计算机科学与技术学院

摘要:在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.

基金:北京市教育委员会科技计划面上项目(SQKM201211417008);

关键词:Hadoop;负载均衡;云计算;云存储;

DOI:10.16186/j.cnki.1673-9787.2013.03.013

分类号:TP393.09

Abstract:This paper first introduces the principle of Hadoop and HDFS.Then the algorithm of Hadoop data load balancing is analyzed.This Hadoop algorithm balances the data according to the space usage of each node and does not handle the factors as processing power, bandwidth, files' access frequency.Thusly there is a big difference in response time for the similar files.This paper devises a novel load balancing model based on the factors of files' size, files' concurrent access time, files' access frequency, nodes' processing power, bandwidth and nodes' available storage space.Experimental results show that the devised model cannot only guarantee the storage space load balancing, but also make the similar files' response time more consistent.

最近更新