基于nutch-1.2实现本地搜索引擎

　　声明:本博文参考了很多资料,主要来自http://blog.csdn.net/jiutao_tang/article/details/6461884/,http://www.cnblogs.com/xia520pi/p/3615554.html,可以点击这些原文观看

nutch是Apach开源项目,是由java实现的web爬虫,可以直接抓取网页内容,并使用内嵌的Lucene生成本地检索文件,提供全文索引搜索功能.

这里在ubuntu14.04系统中,我采用nutch-1.2+Tomcate6.0.53+IKAnalyzer3.2.8+ant+javacc实现本地搜索引擎.

系统架构:

1.环境配置

jdk的安装是必须的,这个网上教程很多,不赘述.

tomcat的安装参考我的另一篇博文:http://www.cnblogs.com/qj4d/p/7222323.html

nutch的安装也跟tomcat类似,下载nutch1.2后,解压缩,将其/bin目录添加到/etc/profile中,别忘了完成后执行source /etc/profile

NUTCH_HOME=/home/xxxx/Documents/apache-nutch-1.2
export PATH=$PATH:$NUTCH_HOME/bin:  

IKAnalyzer3.2.8下载,这个我是从csdn上下的.

　ant和javacc的安装很简单,直接apt-get install即可.

2.修改"nutchz1.2/src/java/org/apache/nutch/searcher/Query.java" line 36附近,import异常类:

　　org.apache.nutch.analysis.ParseException;

　　　　

　　line 454附近,将代码修改为如下的样子:

　　

3.修改"nutch-1.2/src/java/org/apache/nutch/analysis/ NutchAnalysis.jj"

　　在NutchAnalysis.jj中找到"| <SIGRAM: <CJK> >",将其修改为:"| <SIGRAM: (<CJK>)+ >"

　　

　　将NutchAnalysis.jj文件复制到某个目录下,使用javacc命令编译出7个新的java文件,

　　

　　将这7个新的java文件移动到"/nutch-1.2/src/java/org/apache/nutch/analysis",覆盖原文件.

4.修改"nutch-1.2/src/java/org/apache/nutch/analysis/ NutchAnalysis.java"文件.

　　添加一条Import语句:

　　

　　并且修改line 50 处开始的两个函数,为他们添加 throw ParseException:

　　

5.修改“nutch-1.2/src/java/org/apache/nutch/analysis/ NutchDocumentAnalyzer.java” .

　　添加两个import语句:

　　

　　修改line105处的函数,将其注释,修改为IKAnalyzer()分词器:

　　

6.修改"/nutch-1.2/build.xml"文件

　　在line200行附近添加IKAnalyzer的jar包

　　

7.使用ant执行build.xml文件,可以在/nutch-1.2目录下得到一个新的/build文件目录,将里面的三个文件:nucth-1.2.jar, nutch-1.2.job,nutch-1.2.war

　复制到/nutch-1.2目录下,覆盖原文件

　　

8.在/nutch-1.2目录下新建一个txt文件,用来保存初始搜索的url:

　　

9.修改/nutch-1.2/conf/crawl-urlfiliter.txt文件中的配置,这个文件中的正则表达式定义了那些文件可以被Nutch爬行，那些不可以被爬行。其中以“+”号开头的表示属于Nuch合法的Url连接，“-”号开头相反。由于我的搜索引擎主要专注于历史topic,所以我将ulr控制为与历史相关:

# accept hosts in MY.DOMAIN.NAME
#+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
+^http://([a-z0-9]*\.)*lishi.net/
+^http://([a-z0-9]*\.)*renren.com/
+^http://([a-z0-9]*\.)*qulishi.com/
+^http://([a-z0-9]*\.)*.huanqiu.com/
+^http://([a-z0-9]*\.)*.sohu.com/
+^http://([a-z0-9]*\.)*lssdjt.com/
+^http://([a-z0-9]*\.)*zhihu.com/topic/19551077
+^http://([a-z0-9]*\.)*xuekewang.com/

10.配置/nutch-1.2/conf/nutch-site.xml,填写相关的代理属,我使用http.agent.name,以及配置搜索目录:

<configuration>
<property>
<name>http.agent.name</name>
<value>HD nutch agent</value>
</property>
<property>
<name>http.agent.version</name>
<value>1.2</value>
</property>
 <property>
  <name>searcher.dir</name>
  <value>/home/weichao/Documents/newNutch/nutch-1.2/result</value>
  <description></description>
 </property>

</configuration>

11.可以开始爬取网页建立索引了

　　在/nutch-1.2目录下使用命令:

bin/nutch crawl /home/weichao/Documents/apache-nutch-1.2/url.txt -dir /home/weichao/Documents/apache-nutch-1.2/search_result -threads 8 -depth 5 -topN 100　　

　　命令行参数格式:

 Crawl命令的使用说明为: crawl <url dir> [-dir index] [-threads num] [-depth num] [-topN num]

　　

 urls是存放需要爬行网址的文件夹目录。
 -dir选项是抓取的页面的存放目录。
 -threads选项是启动的最大线程数。
 -depth选项是能爬行的最大深度，也就是最多爬行到第几级的页面，也叫爬行深度。
 -topN选项是在每层深度上，所能爬行的最多页面数，也称爬行广度。

12.运行结束之后,使用如下命令测试是否有搜索结果,如果total hits为0,则说明没有建立索引,特别要注意第10步添加search.dir:

/home/weichao/Documents/apache-nutch-1.2/bin/nutch org.apache.nutch.searcher.NutchBean '历史'

　　　　

13.将nutch目录的nutch-1.2.war复制到tomcat/webapps下,启动tomcat,webapps下面自动生成了一个nutch-1.2的文件夹,打开nutch-1.2/WEB-INF/classes下的nutch-site.xml文件，改为以下内容:

<configuration>
<property>
<name>http.agent.name</name>
<value>HD nutch agent</value>
</property>
<property>
<name>http.agent.version</name>
<value>1.2</value>
</property>
<property>
<name>searcher.dir</name>
<value>/home/weichao/Documents/newNutch/nutch-1.2/result</value>
<description></description>
</property>
<property>
  <name>plugin.includes</name>
  <value>protocol-http|urlfilter-regex|parse-(text|html|js)|analysis-(zh)|index-basic|query-(basic|site|url)|summary-lucene|scoring-opic|urlnormalizer-(pass|regex|basic)</value>
</property>
</configuration>

　　特别注意要添加最后一个plugin.includes,否则不会显示搜索结果,tomcat的log也不会报错.

14.打开"apache-tomcat6.0.29/webapps/nutch-1.2/nutch-1.2/search.jsp",找到"int hitsPerSite",把他的值改为0,避免nutch默认的页面hits有重复

15.搜索"历史",结果反馈如下图所示,可见中文分词还是比较成功的:

　　

14.