Ubuntu14.04安装完全分布式Hadoop1.2.1

一直想装hadoop集群，但总是没有时间，最近抽了三天时间下定决定装了一下，在我的wmware上虚拟了一台Ubuntu14.04，然后再复制了两台虚拟机，准备开始！！！！

基本参考 http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

一. 了解hadoop：

　　　　对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。

　　　　Hadoop集群角色：master，slave

Hadoop基础框架：HDFS，MapReduce

一个HDFS集群是由一个NameNode和若干个DataNode组成的，MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点的TaskTracker共同组成的。

  master：JobTracker，NameNode

          slave：TaskTracker，DataNode

JobTracker：监控它们的执行情况，并且重新执行之前的失败任务

TaskTracker：负责由主节点指派的任务

NameNode：作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作

DataNode：管理存储的数据

二. 安装Hadoop集群（完全分布式）

我有三台虚拟机：

192.168.62.128   master.hadoop
192.168.62.129   slave1.hadoop
192.168.62.130   slave2.hadoop

1.网络配置

1.修改主机名（IP）

$ sudo vim /etc/hostname

2.配置hosts文件（必须）

$sudo vim /etc/hosts

"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName和IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名（或域名）对应的IP地址。在进行Hadoop集群配置中，需要在"/etc/hosts"文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，而且还可以通过主机名进行通信。所以在所有的机器上的"/etc/hosts"文件末尾中都要添加如下内容：

　　 192.168.62.128   master.hadoop
　　　　192.168.62.129   slave1.hadoop
　　　　192.168.62.130   slave2.hadoop

3.用ping测试一下是否连通

$ping slave1.hadoop

4.现在剩下的事儿就是在其余的Slave机器上进行相同的配置。然后进行测试。

1）JDK软件

下载地址：http://www.oracle.com/technetwork/java/javase/index.html

2）Hadoop软件

下载地址：http://hadoop.apache.org/common/releases.html

2.装JDK1.8.0_45

所有的机器上都要安装JDK，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装JDK以及配置环境变量，需要以"root"的身份进行。

1.在/usr下建立一个文件夹java，然后将解压后的jdk文件夹复制过来

2.将jdk文件夹的权限改为root

$sudo chown -R root:root jdk1..0_45

3.编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"内容

$sudo vim /etc/profile

在"/etc/profile"文件的尾部添加以下内容：

# set java environment

export JAVA_HOME=/usr/java/jdk1..0_45

export  CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

4.保存并退出，执行下面命令使其配置立即生效

$source profile

5.配置完毕并生效后，用下面命令判断是否成功

$java -version

6.其它机器同样安装，用root权限

3.装Hadoop1.2.1(tar –zxvf 命令解压)

所有的机器上都要安装hadoop，现在就先在Master服务器安装，然后其他服务器按照步骤重复进行即可。安装和配置hadoop需要以"root"的身份进行。

1.把解压后的Hadoop1.2.1复制到/usr文件下，更名为hadoop

#cp -r /home/xx/hadoop1.2.1 /usr
#mv hadoop1.2.1 hadoop

2.把"/usr/hadoop"读权限分配给hadoop用户（非常重要）

#chown -R xx:xx hadoop

3.最后在"/usr/hadoop"下面创建tmp文件夹，把Hadoop的安装路径添加到"/etc/profile"中，修改"/etc/profile"文件（配置java环境变量的文件），将以下语句添加到末尾，并使其有效：

# set hadoop path

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

相关命名：

#mkdir /usr/hadoop/tem
#vim /etc/profile
#source profile

source使profile配置立即生效!

4.配置hadoop（/usr/hadoop/conf）

            配置 hadoop-env.sh,core-site.xml、hdfs-site.xml、mapred-site.xml,masters,slaves这六个文件。具体参见文章开头链接文章。

Hadoop配置文件在conf目录下，之前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。由于Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

注意：配置slaves文件（Master主机特有）

配置master的slaves文件，里面需要完整的slave信息，例如：slave用户名@slave-IP

现在在Master机器上的Hadoop配置就结束了，剩下的就是配置Slave机器上的Hadoop。

5.用scp将master上的hadoop文件传给slave机器上，给相应机器上的用户加上读权限

#chown -R hadoop:hadoop（用户名：用户组） hadoop（文件夹）

6.接着在"Slave1 .Hadoop"上修改"/etc/profile"文件（配置 java 环境变量的文件），将以下语句添加到末尾，并使其有效（source /etc/profile）：

# set hadoop environment

export HADOOP_HOME=/usr/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

7.剩下的事儿就是照葫芦画瓢把剩余的几台Slave机器部署好

4.ssh无密码登录

SSH无密码原理

原理：Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master公钥复制到Slave上。

1.安装ssh

$sudo apt-get install ssh

2.Master机器上生成密码对

$ssh-keygen -t rsa

这条命是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/xx/.ssh"目录下。

3.接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去

$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4.在验证前，需要做两件事儿。第一件事儿是修改文件"authorized_keys"权限（权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能），另一件事儿是用root用户设置"/etc/ssh/sshd_config"的内容。使其无密码登录有效。

$ chmod  ~/.ssh/authorized_keys
$ sudo vim /etc/ssh/sshd_config

修改SSH配置文件"/etc/ssh/sshd_config"的下列内容

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

设置完之后记得重启SSH服务，才能使刚才设置有效

$ service ssh restart

退出root登录，使用hadoop普通用户验证是否成功

$ ssh localhost

接下来的事儿是把公钥复制所有的Slave机器上

5.使用下面的命令格式进行复制公钥：

$ sudo scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/

6.在"/home/hadoop/"下创建".ssh"文件夹,然后是修改文件夹".ssh"的用户权限，把他的权限修改为"700"，用下面命令执行：

$ mkdir ~/.ssh
$ chmod  ~/.ssh

备注：如果不进行，即使你按照前面的操作设置了"authorized_keys"权限，并配置了"/etc/ssh/sshd_config"，还重启了ssh服务，在Master能用"ssh localhost"进行无密码登录，但是对Slave1.Hadoop进行登录仍然需要输入密码，就是因为".ssh"文件夹的权限设置不对。这个文件夹".ssh"在配置SSH无密码登录时系统自动生成时，权限自动为"700"，如果是自己手动创建，它的组权限和其他权限都有，这样就会导致RSA无密码远程登录失败。

7.到目前为止slave1.hadoop的公钥也有了，文件夹".ssh"也有了，且权限也修改了。这一步就是把master.hadoop的公钥追加到slave1.hadoop的授权文件"authorized_keys"中去。使用下面命令进行追加并修改"authorized_keys"文件权限：

$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod  ~/.ssh/authorized_keys

8.修改slave1"/etc/ssh/sshd_config"

具体分为两步：第1是修改配置文件；第2是重启SSH服务,具体步骤参考前面Master.Hadoop的"设置SSH配置"

9.用Master.Hadoop使用SSH无密码登录Slave1.Hadoop

$ ssh slave1.hadoop

10.最后记得把slave1"/home/hadoop/"目录下的"id_rsa.pub"文件删除掉

　　　到此为止，我们经过前5步已经实现了从"Master.Hadoop"到"Slave1.Hadoop"SSH无密码登录，下面就是重复上面的步骤把剩余的两台（Slave2.Hadoop和Slave3.Hadoop）Slave服务器进行配置。这样，我们就完成了"配置Master无密码登录所有的Slave服务器"。

11.和Master无密码登录所有Slave原理一样，就是把Slave的公钥追加到Master的".ssh"文件夹下的"authorized_keys"中，记得是追加（>>）。

12.首先创建"slave1.hadoop"自己的公钥和私钥，并把自己的公钥追加到"authorized_keys"文件中。用到的命令如下：

$ ssh-keygen –t rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

13.接着是用命令"scp"复制"slave1.hadoop"的公钥"id_rsa.pub"到"master.hadoop"的"/home/xx/"目录下，并追加到"master.hadoop"的"authorized_keys"中

在"Slave1.Hadoop"服务器的操作
$ sudo scp ~/.ssh/id_rsa.pub xx@192.168.62.128:~/
在"Master.Hadoop"服务器的操作
$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

然后删除掉刚才复制到master上的"id_rsa.pub"文件

14.最后是测试从"slave1.hadoop"到"master.hadoop"无密码登录

$ ssh master.hadoop

至此"Master.Hadoop"与"Slave1.Hadoop"之间可以互相无密码登录了，剩下的就是按照上面的步骤把剩余的"Slave2.Hadoop"与"Master.Hadoop"之间建立起无密码登录。这样，Master能无密码验证登录每个Slave，每个Slave也能无密码验证登录到Master。

5.启动Hadoop

1.格式化HDFS文件系统

在"Master.Hadoop"上使用普通用户hadoop进行操作。（备注：只需一次，下次启动不再需要格式化，只需 start-all.sh）

$ hadoop namenode -format

2.启动hadoop之前，关闭集群中每台机器的防火墙

$ sudo ufw disable

3.进入/usr/hadoop/bin目录可以看到各个脚本  开启是start-all.sh   关闭是stop-all.sh

$ start-all.sh

　　　　可以通过以下启动日志看出，首先启动namenode 接着启动datanode1，datanode2，…，然后启动secondarynamenode。再启动jobtracker，然后启动tasktracker1，tasktracker2，…。启动 hadoop成功后，在 Master 中的 tmp 文件夹中生成了 dfs 文件夹，在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。

4.验证hadoop

1）验证方法一：用"jps"命令

　　在Master上用 java自带的小工具jps查看进程。

　依次可以看到JobTracker,NameNode,JPS,SecondaryNameNode进程号。

在Slave1上用jps查看进程。

依次可以看到TaskTracker,DataNode,JPS进程号。

2）验证方式二：用"hadoop dfsadmin -report"

最终起来的界面：在浏览器中输入master的ip地址：端口号

1）访问"http:192.168.62.128:50030"

2）访问"http:192.168.62.128:50070"

常见的一些安装问题请详见参考文章！！！