Hadoop安装教程

Hadoop的分布式安装

hadoop安装伪分布式以后就可以进行启动和停止操作了。

首先需要格式化HDFS分布式文件系统。hadoop namenode -format

然后就可以启动了。start-all.sh

此时使用jps命令可以查看启动的5个守护进程

也可以通过web查看是否启动成功。

localhost:50070查看 NameNode 节点，localhost:50030查看 JobTracker 节点

停止命令。stop-all.sh

一、配置IP

这是使用了两台已经配置好 hadoop 单机环境的 Ubuntu

Ubuntu_master：192.168.1.3

ubuntu_slave：192.168.1.6

二、配置主机名及 hosts 文件

为了能使用登录以及 ping 更简单

我们在这里配置地址及主机名到 hosts 文件

在 /etc/hosts 文件中添加以下内容：

192.168.1.3 master

192.168.1.6 slave

同时使用 nmtui 命令修改自己的主机名，重启生效

三、配置 hadoop 环境变量

使用 vim ~/.bashrc 编辑用户环境配置文件

在该文件中加入下列内容：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

然后使用 source ~/.bashrc 使其生效

用 hadoop version 命令检查上述操作是否生效

四、配置 hadoop 配置文件

1、slaves 将数据节点主机名写入其中

2、core-site.xml 配置文件

3、hdfs-site.xml 配置文件

4、mapred-site.xml 配置文件

5、yarn-site.xml 配置文件

五、将配置文件拷贝至各 slave 节点

在 /usr/local/hadoop 目录下

tar -zcvf etc.tar.gz etc 将文件夹打包

scp etc.tar.gz slave:/home 传送

此时报权限错误而无法传送

原因是：当前用户没有在 /home 下的写权限

当我用 root 身份登录时，发现依然不行

一直报访问拒绝错误

原因是：ssh 设置不可使用 root 什么登录

解决办法：/etc/ssh/sshd_config 配置文件中

PermitRootLogin 的值改为 yes

这里我们使用 scp etc.tar.gz slave:/home/haojun 命令传送

然后 ssh slave 登录到 slave

然后 rm -rf /usr/local/hadoop/etc 删除原配置文件

然后 tar -zxvf etc.tar.gz -C /usr/local/hadoop 解压新配置文件

此时应确保解压后的权限与当前用户一致，否则应

sudo chown -R haojun:haojun /usr/local/hadoop/etc 更改权限

六、执行 NameNode 初始化并关闭防火墙

在 master 节点上执行

hdfs namenode -format 即可

出现类似下面信息即表示成功：

如果没有，则查看上面的执行日志，以更改错误

多数错误是配置文件书写错误！也就是笔误！！

命令作用

sudo ufw status 查看防火墙状态

sudo ufw enable 激活防火墙

sudo ufw disable 关闭防火墙

以上三条命令适用于发行版为 Ubuntu 的 Linux

七、启动 hadoop

start-dfs.sh 启动第一、二名称节点

start-yarn.sh 启动资源管理器

mr-jobhistory-daemon.sh start historyserver 启动工作历史服务

jps 查看节点启动情况

hdfs dfsadmin -report 查看数据节点启动情况

正常情况下，master 应该有如下图，slave 亦是。

此时亦可通过web访问：http://master:50070/ 查看各节点启动情况

补充：如无法正常启动，还可通过删除 tmp、logs 等文件夹并重新初始化 NameNode 节点的方式排错。

八、执行分布式实例

8.1创建 HDFS 上的用户目录

hdfs dfs -mkir -p /user/hadoop

8.2创建 input 文件夹

hdfs dfs -mkidr input

此处报文件不存在错误

再次开机时以及可以。

可能是之前某些操作没有执行成功，或者命令打错根本没有执行。

hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

拷贝样例文件

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output ‘dfs[a-z.]+’

执行命令

hdfs dfs -cat output/*

即可查看如下图结果

stop-yarn.sh

stop-dfs.sh

mr-jobhistory-daemon.sh stop historyserver

以上是关闭命令