谈谈Hadoop和分布式Lucene
2008-11-14 01:30 分类:Hadoop, MapReduce, Relative
Lucene是大家用的最多的开源搜索引擎。本文不探讨Lucene如何实时更新（http://issues.apache.org/jira/browse/LUCENE-1313），和如何修改Lucene评分机制，添加如PageRank评分因子，本文只讨论分布式的Lucene。
说到Lucene一般都会提到Nutch，Hadoop最早是Doung Cutting为了Nutch的crawler和indexer所开发的做为nutch的两个package。Hadoop在Nutch中的作用就是抓取页面和建立索引。其抓取和建索引详见页面。因为Hadoop的seek能力限制，Nutch的分布式搜索使用手动配置的机制，缺少管理索引能力和服务器的机制。具体步骤：在webserver中修改search-servers.txt把搜索服务的服务器地址和服务端口添加进去，然后把nutch-site.xml中的searcher.dir指到search-servers.txt保存的目录，在提供搜索服务的服务器上手动的从HDFS中拷贝索引文件到本地。启动DistributedSearch.Server提供搜索服务。Nutch节点失效通过搜索请求IPC调用的超时来通知。
