安装并运行hadoop

本文地址：http://www.cnblogs.com/archimedes/p/run-hadoop.html，转载请注明源地址。

欢迎关注我的个人博客：www.wuyudong.com, 更多云计算与大数据的精彩文章

1.运行环境搭建

参见《Ubuntu 14.04下安装JDK8》 《Ubuntu14.04下安装Hadoop2.5.1 （单机模式）》

使用命令

sudo apt-get install subversion ssh ant

这个命令，把SSH、Ant和SVN安装

2.下载源代码

这是个开源的系统，代码很方便用SVN就可以下载到，版本也很多，在这里选择0.20.2版本，代码量少、简单

运行这个命令来下载：

svn co http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.20.2/

下载完成后，会在当前文件夹内产生一个新文件夹release-0.20.2，这里面就是代码了。

为了后面方便操作，把这文件夹重命令一下：

mv release-0.20./ hadoop-0.20.

打开hadoop-0.20.2文件夹：

刚下完的代码是无法直接运行的，编译前先修改一下build.xml，打开，将里面的版本号改成：0.20.2，如下：

用ant编译用的配置文件，所以直接在命令行里输入：

~/hadoop-0.20.$ ant
~/hadoop-0.20.$ ant jar
~/hadoop-0.20.$ ant examples

3.配置SSH

参考《Ubuntu14.04下安装Hadoop2.5.1 （单机模式）》

4.修改配置文件

伪分布式的配置过程也很简单，只需要修改几个文件，在代码的conf文件夹内，就可以找到下面几个配置文件，分别配置成以下内容：

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/wu/hadoop-0.20./tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

进入conf文件夹，修改配置文件：hadoop-env.sh，将里面的JAVA_HOME注释打开，并把里面的地址配置正确：

5.运行hadoop

进入hadoop目录： $cd Hadoop-0.20.2

首次运行，需要格式化文件系统，输入命令：

bin/hadoop namenode -format    

输入命令，启动所有进出：

bin/start-all.sh

关闭hadoop可以用：

bin/stop-all.sh

最后验证hadoop是否安装成功，打开浏览器，分别输入：

http://localhost:50030/ （MapReduce的web页面）

http://localhost:50070/ （HDFS的web页面）

如果都能查看，说明hadoop安装成功，如下图所示：

用jps命令看一下有几个java进程在运行，如果是下面几个就正常了：

系统启动正常后，现在来跑个程序:

$mkdir input
$cd input
$echo "hello world">test1.txt
$echo "hello hadoop">test2.txt
$cd ..
$bin/hadoop dfs -put input in
$bin/hadoop jar build/hadoop-0.20.-examples.jar wordcount in out
$bin/hadoop dfs -cat out/*

出现一长串的运行：

出现最后几行，说明运行成功:

参考资料

《Hadoop实战--第二版》