« Hadoop Summit Video | 首页 | HBase的概念和性能选项 »
Facebook中的Hadoop
作者：马士华 发表于：2008-06-10 16:31 最后更新于：2008-06-10 16:31版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息。
http://www.hadoop.org.cn/hadoop/facebook-hadoop/
Facebook贴出了一个帖子,介绍他们使用Hadoop的情况.下面是一些摘要:
随着数以千万计的用户和每天超过10亿的PV.Facebook最后累积下大量的数据.Facebook的挑战是如何处理这些大量的数据来提高用户体验,并让Facebook的工程师和分析人员很容易地使用工具来挖掘和处理这些数据.
Facebook的工程师团队使用Hadoop分析他们的数据，刚开始他们还是小心翼翼地使用Hadoop，后来才把一些以前通过普通计算技术很难分析的数据放入到Hadoop用MapReduce编程模型分析（像：Facebook Lexicon，提高用户体验等）。Facebook现在有多个Hadoop的集群。最大的集群现在有2500个cpu和1P的存储空间.每天往Hadoop集群的文件系统中增加250g的压缩数据(超过2T未压缩的),每天运行好几百个MapReduce job.
随着时间的过去,他们已经在Hadoop上面添加了数据仓库特征,像分割,抽样,索引等.Facebook也将在不远的将来把Hive开源.这是Hive在Hadoop summit上演讲的文档.
相关文章
引用通告
如果您想引用这篇文章到您的Blog，
请复制下面的链接，并放置到您发表文章的相应界面中。
http://www.hadoop.org.cn/hadoop/facebook-hadoop/trackback/
Comments
Leave a Reply
