Hadoop中的子项目Zookeeper能做什么
2008-08-20 16:09 分类:Hadoop, Relative
很高兴得看到Yahoo捐献的Zookeeper已经从sourceforge迁移到Apache,并成为Hadoop的子项目.那么ZooKeeper是什么呢?Zookeeper是Google的Chubby一个开源的实现.是高有效和可靠的协同工作系统.Zookeeper能够用来leader选举,配置信息维护等.在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等.Zookeeper能够保证如下3点:
- Watches are ordered with respect to other events, other watches, and
asynchronous replies. The ZooKeeper client libraries ensures that
everything is dispatched in order. - A client will see a watch event for a znode it is watching before seeing the new data that corresponds to that znode.
- The order of watch events from ZooKeeper corresponds to the order of the updates as seen by the ZooKeeper service.
雅虎架构师Doug Cutting谈MapReduce和Hadoop的未来
2008-03-21 10:07 分类:Hadoop, MapReduce
Hadoop是一个开源的分布式计算平台，它主要由MapReduce的算法执行和一个分布式的文件系统等两部分组成。InfoQ曾经刊登过一篇Jeremy Zawodny写的有关Hadoop速度提升的综述性文章。这次InfoQ的资深Java编辑Scott Delap和Hadoop项目负责人Doug Cutting进行了一次专访。在这次InfoQ的专访中，Cutting论述了Hadoop是如何在Yahoo中被使用的，以及Hadoop发展中遇到的挑战和Hadoop项目未来的发展方向。
[More...]
Yahoo首次举办Hadoop高级会议
2008-03-07 15:09 分类:Hadoop
Yahoo将在3月25在加州的塞涅维尔举行首次Hadoop高级会议。Hadoop现在已经开始在一些大型的环境中应用，比如Yahoo的搜索集群Webmap,Facebook ,The New York Tim , Joost, Google,IBM Blue Cloud Computing Clusters等。看会议日程安排这次会议演讲的基本上都是一些跟Hadoop相关的项目。Pig一个和Google的Sawzall 相似的解释型的数据分析语言 .JAQL JSON查询语言(可以用来操作HDFS,MapReduce,HBase),Zookeeper分布式的LockServer像Google的Chubby,Hbase一个模仿Google的BigTable 的分布式结构化数据存储,Hive一个Fecebook开发的一个数据仓库框架（正在计划开源）。
