« pig语言 | 首页 | 转贴：Hadoop’s code structure »
Hadoop赢得1TB排序基准评估第一名
作者：马士华 发表于：2008-07-04 12:35 最后更新于：2008-07-04 12:36版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息。
http://www.hadoop.org.cn/hadoop/hadoop-win-sort-benchmark/
强烈祝贺Hadoop赢得1TB排序基准评估第一名。Yadoo的一个集群最近用209秒时间排序1TB的数据，比上一年的的纪录保持者保持的297秒快乐将近90秒。1998年Jim Gray创建了排序基准评估的方法，建立100亿条100个字节的纪录，评估对这100亿条纪录完全排序和把纪录写入磁盘的时间。评估是建立在未发布的版本0.18上的。排序所用的源码在这个地址。
评测集群的配置：
- 910 nodes
- 4 dual core Xeons @ 2.0ghz per a node
- 4 SATA disks per a node
- 8G RAM per a node
- 1 gigabit ethernet on each node
- 40 nodes per a rack
- 8 gigabit ethernet uplinks from each rack to the core
- Red Hat Enterprise Linux Server Release 5.1 (kernel 2.6.18)
- Sun Java JDK 1.6.0_05-b13
大家可能非常想知道如何配置Hadoop集群以提高集群处理效率。过些日子我会和大家探讨如何设置Hadoop的集群问题，包括configuration的配置，集群的监控，集群的资源管理等等，和一些来自Facebook Dhruba Borthakur的经验。
相关文章
引用通告
如果您想引用这篇文章到您的Blog，
请复制下面的链接，并放置到您发表文章的相应界面中。
http://www.hadoop.org.cn/hadoop/hadoop-win-sort-benchmark/trackback/
Comments
Leave a Reply
