Netbeans导入Nutch1.2
Windows 环境下,Netbeans下导入Nutch1.2。
测试环境:
Nutch 1.2
Netbean7.4
Java 1.8.0_20
cygwin
安装步骤:
1.安装:Cygwin
•下载 Nutch1.2 (下载地址:http://archive.apache.org/dist/nutch/)
•按照教程进行安装 (教程地址: http://wiki.apache.org/nutch/NutchTutorial)
环境变量配置如下:
classpath: .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
JAVA_HOME: D:\Program Files\Java\jdk1.8.0_20
CATALINA_HOME: D:\terry\Software\Java\apache-tomcat-7.0.55
ANT_HOME:D:\terry\Work\Java\apache-ant-1.9.4-bin\apache-ant-1.9.4
Path: %JAVA_HOME%\bin;%CATALINA_HOME%\bin;%CATALINA_HOME%\lib;%ANT_HOME%\bin;%JAVA_HOME%\jre\bin;
系统环境变量部分: Path:C:\Windows\System32;D:\cygwin\bin;
2.在Netbeans中创建项目
创建项目过程:
启动 Netbeans7.4 文件->新建项目->常规;
•选择“基于现有源代码的Java项目”->下一步,选择项目名称和项目文件夹,可以根据自己的需要自行指定;
•选择下一步,点击“源包文件夹”文本框右边的“添加文件夹”按钮,浏览文件目录选择Nutch安装目录下的src文件夹;
•点击完成,此时工程已经建立,当需要对项目进行配置才能实现代码的调试;
导入文件及Jar包过程:
•在左边的“项目”导航窗口中,选择库包,点击右键,选择属性,此时弹出项目属性配置窗口
•选择配置“库”,点击按钮“添加JAR/文件夹”,添加Nutch安装目录下的 "conf"目录下所有文件;
•继续将Nutch安装目录下“lib”和“plugin”文件夹中的所有JAR包添加进来,此处比较麻烦,因为Netbeans不能自动扫描到文件夹下所有的JAR包,必须手工将其添加进来。
此时,您可以选择左方“项目”导航窗口中的项目图标,点击右键,选择“生成项目”,项目应该能正确通过编译。您还需要对Nutch进行配置以调试Nutch的爬行代码。
配置 Nutch
在Nutch安装目录下,找到文件/conf/nutch-defaul.xml, 将其 "plugin.folders" 属性值改为"Nutch安装目录/src/plugin"
运行
在Nutch中运行Nutch爬虫
•选择左方“项目”导航窗口中的项目图标,点击右键,选择“属性”,在左方类别窗口中选择“运行”,对运行参数进行配置
•主类: 选择 org.apache.nutch.crawl.Crawl
•参数: 填入 urls/microsoft.txt -dir crawl -depth 3 -topN 50
•VM选项:填入 -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log
•点击“确定”按钮退出
•选择左方“项目”导航窗口中的项目图标,点击右键,选择“运行项目”
运行过程中出现的错误及解决办法:
1 mapred.JobClient - No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
2014-10-17 13:20:45,384 INFO crawl.Crawl - crawl started in: crawl
出错原因:找不到Mapper类和Reduce类。
解决办法:
将本工程导出jar包放到工程根目录下面,并在Crawl.java类中获取到配置文件后重新加载mapred.jar包。
conf.set("mapred.jar", "NutchSource.jar"); NutchSource.jar是Nutch项目编译后的Jar包。
代码如下: public static void main(String args[]) throws Exception {
if (args.length < 1) {
System.out.println
("Usage: Crawl <urlDir> [-dir d] [-threads n] [-depth i] [-topN N]" +
" [-solr solrURL]");
return;
} Configuration conf = NutchConfiguration.createCrawlConfiguration();
conf.set("mapred.jar", "NutchSource.jar");
JobConf job = new NutchJob(conf);
2. WARN plugin.PluginRepository - Plugins: directory not found: plugins
出错原因:找不到plugins此目录。
解决办法:查看conf目录下的nutch-default.xml中的plugin.folders的Value值在项目路径下是否存在。
<property>
<name>plugin.folders</name>
<value>plugins</value>
<description>Directories where nutch plugins are located. Each
element may be a relative or absolute path. If absolute, it is used
as is. If relative, it is searched for on the classpath.</description>
</property>
把此值改为项目下src/plugin.
Netbeans导入Nutch1.2的更多相关文章
- NetBeans导入项目jar路径错误解决办法
NetBeans导入项目jar路径错误解决办法 1.NetBeans中导入项目jar路径出错,单击项目右键,选择"属性",找到"库" 2.找到错误jar,全部勾 ...
- 什么是JavaFX
什么是JavaFX JavaFx平台是一个富客户端平台解决方案,它能够使用应用程序开发人员轻松的创建跨平台的富客户端应用程序.它构建在Java技术的基础之上,JavaFX平台提供了一组丰富的图形和媒体 ...
- 可视化工具gephi源码探秘(二)---导入netbeans
在上篇<可视化工具gephi源码探秘(一)>中主要介绍了如何将gephi的源码导入myeclipse中遇到的一些问题,此篇接着上篇而来,主要讲解当下通过myeclipse导入gephi源码 ...
- [置顶] Linux下将Nutch1.3导入eclipse
1.准备工作 首先去官网下载好 apache-nutch-1.3-bin.zip 解压apache-nutch-1.3-bin.zip [pig@CentOs ]$ unzip apache-nu ...
- 如何从eclipse中下载并导入Github上的项目
eclipse导入项目,方法就是点击File ->Import,选择Existing Projects into Workspace 但前提是,你导入的这个项目原本就是用eclipse的构建的, ...
- nutch1.4 在windows下面提示 java.io.IOException: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
eclipse运行nutch1.4在window下面提示异常解决 需要安装cynwin,被设置环境变量 1:安装cygwin 注:在选择要安装的软件包的时候我选择了在All这一行上后面的Default ...
- nutch-2.1导入eclipse+mysql运行
初次接触nutch,记录下来 首先数据库 CREATE DATABASE nutch DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_unicode_c ...
- NetBeans使用习惯:升级与保存配置
如何升级:点击 netbeans 的升级更新 ,即可升级版本:不推荐官网下载进行安装,否则会出现,以前的旧版本8.0的目录和8.0.1目录,虽然它会自动检测到以前版本的配置,提示导入... 如何备份: ...
- Eclipse 快捷键 转换为Netbeans 快捷键
一直使用netbeans IDE开发,习惯了netbeans的快捷键,最近要开发个app就选择了H5. 接着使用了HBuilder (基于Eclipse开发) 总体来讲这个IDE还可以,不管是代码提示 ...
随机推荐
- JS——全选与反选
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- 【转载】Selenim入门环境的搭建--Java环境下的Java Maven Project
一.开发环境 操作系统: xp win7 win8 win10都可以 JDK: 1.6或者1.7 下载地址 JDK1.7下载 Eclipse: 官网下载比较新的版本,建议下载EE的版本 eclips ...
- google.GIS小例子
var map; var array = [[41.774166667, 85.943055556], [43.864052, 87.560499]];//经纬度 var array1 = [&quo ...
- 交换技术(swaping) 视频11
进程挂起的原因 1)进程全部阻塞,处理机空闲 2)系统负荷过重,内存空间紧张 3)操作系统需要,操作系统可能挂起后台进程或者一些服务进程(后台进程 优先级比 前天进程低),或者可能导致系统故障的进程 ...
- 通过js的console优雅的将php调试信息输出
function consoleLog($val){ $debug = debug_backtrace(); unset($debug[0]['args']); echo '<script> ...
- html5高级
Html5高级 项目回顾 Day 01 第三阶段知识体系: (1)AJAX异步请求 数据库.PHP.HTTP.原生AJAX.jQuery中的AJAX (2)HTML5高级特性 九大新特性 (3)Boo ...
- MIPS指令集相关
寄存器: 寄存器号 符号名 用途 0 始终为0 看起来象浪费,其实很有用 1 at ...
- ubuntu 安装mongodb
安装 mongodb sudo apt-get install mongodb 创建目录(放在单独文件夹中) mkdir data/aa 在目录外面启动,端口为27017 mongod -dbpath ...
- C语言结构体位域
demo: typedef struct { int a:2; int b:2; int c:1; }test; int main() { test t; t.a=1; t.b=3; t.c=1; / ...
- 空的安卓工程添加activity
1.编写类继承activity,并重写onCreate方法 package org.tonny; import android.app.Activity; import android.os.Bund ...