hadoop 分布式集群安装

这一套环境搭完，你有可能碰到无数个意想不到的情况.

用了1周的时间，解决各种linux菜鸟级的问题，终于搭建好了。、

沿途的风景，甚是历练。

环境介绍:

系统：win7

内存:16G(最低4G，不然跑多个虚拟机会比较慢）

虚拟机：VMware Workstation 12 ，Linux安装的 CentOs 64位

一、准备工作：

1.安装 Vmware WorkStation 虚拟机

下载地址

安装教程

2.在虚拟机上安装 linux系统

hadoop一般运行在linux平台之上的，如果在windows安装hadoop集群，估计在安装过程中面对的各种问题会让人更加崩溃。

在虚拟机上安装的linux操作系统为CentOd 64位 完整版，当然 redhat, fedora等其它 版本完全没有问题。

CentOs 64 下载

CentOs 64 安装教程

3.卸载虚拟机自带的openJdk

批量卸载所有带有Java的文件 ： rpm -qa | grep java | xargs rpm -e --nodeps

4.安装jdk，配置环境

教程

安装成功后，用  echo $JAVA_HOME 检查JDK运行目录

上图为我的实例，我安装的是java 8,你要嗵安装的是其它版本的，但 ！！！ 请 记住这个地址，在配置hadoop时用得到。

5.克隆新的虚拟机

后面的步骤就用克隆出来的3个新的虚拟机（原装的就别动了，万一搞不好，想重新来过，可以再从原装的那个再克隆）

6.修改虚拟机主机名

分别将三台虚拟机的主机名修改为 master,node1,node2  ！！！

首先: 切换到root账号

然后: vi /etc/sysconfig/network

第一台修改为：  

第二台修改为:    HOSTNAME=node1

第三台修改为:    HOSTNAME=node2

【全部用root 会不会权限太高了（新手最好这样，减少权限带来的悲剧）】

二、正式开始搭建 hadoop 集群

1.配置hosts文件

先检查 每台虚拟机的IP

也可以通过ifconfig命令更改结点的物理IP地址，示例如下：

通过上面命令,可以将每个节点的IP地址修改，(也可以不用修改，直接用每个节点为的ip)再配置hosts文件

命令：vi /etc/hosts

2.配置ssh免密码连接

by the way :

SSH主要通过RSA算法来产生公钥与私钥，在数据传输过程中对数据进行加密来保障数

据的安全性和可靠性，公钥部分是公共部分，网络上任一结点均可以访问，私钥主要用于对数据进行加密，以防他人盗取数据.

首先：每个节点分别 产生公、私密钥

键入命令: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中，如下命令查看生成的密钥文件：

出现  id_dsa.pub 、 id_dsa 说明生成密钥成功。

id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下：

命令:cat id_dsa.pub >> authorized_keys

用上述同样的方法在剩下的两个结点中如法炮制即可。

其次:集群结点ssh免密码

分别在node1、node2[重要！！！]节点上操作：

如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，

这一过程需要密码验证。接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，

如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。在master结点中操作如下：

Master通过ssh免密码登录至node1、node2 结点测试：

第一次登录 （node1与node2相同）

第二次登录

这两个结点的ssh免密码登录已经配置成功，但是我们还需要对主结点master也要进行上面的同样工作，

这一步有点让人困惑，但是这是有原因的，具体原因现在也说不太好，据说是真实物理结点时需要做这项工作，

因为jobtracker有可能会分布在其它结点上，jobtracker有不存在master结点上的可能性。

截图中手红色莫抹线，请替换成你的账户。

3.安装hadoop

下载hadoop 任意版本，将文件解压到 /home/hadoop下

命令: vi /etc/profile

在profile文件中添加如下几行代码:

这是我的配置文件，

JAVA_HOME= (本文章第一大点，4 小点 ） 用 echo $JAVA_HOME 检查JDK运行目录

HADOOP_INSTALL = 你的hadoop文件路径

以上完成后,让配置文件生效命令：source /etc/profile

上面配置过程每个结点都要进行一遍。

下面开始修改hadoop的配置文件了，文件存放在/hadoop/conf下，主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。

Core-site.xml配置如下：

Hdfs-site.xml配置如下：

接着是mapred-site.xml文件：

 配置hadoop-env.sh文件

这个需要根据实际情况来配置。

以上文件涉及到jdk、hadoop路径，请修改成你自己jdk、hadoop的路径

在hadoop文件夹下找到master \ node文件

在masters文件中填入：

在slaves文件中填入： 

向node1节点复制hadoop：

向node2节点复制hadoop:

这一步在主结点master上进行操作：

注意：上面只要出现“successfully formatted”就表示成功了。

5. 启动hadoop

在master上操作

用jps检验各后台进程是否成功启动

在主结点master上查看namenode,jobtracker,secondarynamenode进程是否启动。

在node1和node2结点了查看tasktracker和datanode进程是否启动。

先来node1的情况:

下面是node2的情况：

进程都启动成功了。恭喜~~~

通过网站查看集群情况

在浏览器中输入：http://192.168.1.100:50030，网址为master结点所对应的IP：

在浏览器中输入：http://192.168.1.100:50070，网址为master结点所对应的IP：

至此，不容易啊~