Hadoop的HDFS
2008-07-31 13:12 分类:Hadoop
HDFS的设计思想：
构建一个非常庞大的分布式文件系统。在集群中节点失效是正常的，节点的数量在Hadoop中不是固定的.单一的文件命名空间，保证数据的一致性，写入一次多次读取.典型的64MB的数据块大小，每一个数据块在多个DN(DataNode)有复制.客户端通过NN(NameNode)得到数据块的位置，直接访问DN获取数据。
NameNode功能：
映射一个文件到一批的块，映射数据块到DN节点上。集群配置管理，数据块的管理和复制。处理事务日志：记录文件生成，删除等。因为NameNode的全部的元数据在内存中存储，所以NN的内存大小决定整个集群的存储量。NN内存中保存的数据：
- 文件列表
- 每一个文件的块列表
- 每一个DN中块的列表
- 文件属性：生成时间,复制参数,文件许可(ACL)
