hadoop2.2.0集群搭建与部署

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3818908.html

一、安装环境

1、系统环境

CentOS  6.4

2、集群机器节点ip

节点一ip：10.100.209.221   （master）
       节点二ip：10.100.209. 222  （slave）
       节点三ip：10.100.209.223   （slave）
       安装时可以基于自己的配置与此进行对应

二、系统环境配置

1、创建hdp用户与hdp用户组

su root

groupadd hdp
        useradd -g hdp hdp
        passwd hdp

2、授予hdp用户sudo权限
        vim /etc/sudoers      增加如下内容

%hdp    ALL=(ALL)       ALL

3、添加host配置

vim /etc/hosts   
        添加ip对应的hostname（根据实际ip填写对应关系）
 

 

4、配置ssh免登录功能(只需在node01  Master机器上执行)

su hdp

ssh-keygen (执行此后一直敲回车即可)

ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@node01

ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@node02

ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@node03

推荐使用ssh-copy-id命令，目前网上很多文章写的方法都是自己一个一个文件的copy，麻烦又费时。

三、软件下载与安装

在集群所有机器上执行下面的操作步骤安装基础软件：

1、软件下载

su hdp

cd /home/hdp

wgethttp://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

wget http://download.oracle.com/otn-pub/java/jdk/7u60-b19/jdk-7u60-linux-x64.rpm

2、java安装

cd /home/hdp

sudo rpm -ivhjdk-7u51-linux-x64.rpm

修改系统默认java版本：

alternatives - -install /usr/bin/javajava /usr/java/jdk1.7.0_51/bin/java 2

alternatives --config java

会出现下面类似界面，选择/usr/java/jdk1.7.0_51/bin/java选项即可

执行： java -version 命令查看java版本是否为1.7.0_51

3、hadoop安装

sudo mv /home/hdp/hadoop-2.2.0.tar.gz/usr/local/

cd /usr/local

sudo tar zxvf hadoop-2.2.0.tar.gz

sudo ln -s hadoop-2.2.0 hadoop

sudo chown -R hdp:hdp hadoop-2.2.0

sudo rm -rf hadoop-2.2.0.tar.gz

四、hadoop部署（单机版）

以node01节点安装为例说明：

1、修改配置文件

cd /usr/local/hadoop/etc/hadoop

vim slaves 添加如下内容

node01

vim core-site.xml 添加如下内容

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://node01:8020/</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop-${user.name}</value>

</property>

</configuration>

vim hdfs-site.xml添加如下内容

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node01:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/dfs/nn</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/dfs/dn</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

vim mapred-site.xml添加如下内容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.shuffle.port</name>

<value>8080</value>

</property>

<property>

<name>mapreduce.job.tracker</name>

<value>node01:8021</value>

</property>

<property>

<name>mapreduce.job.tracker.http.address</name>

<value>node01:50030</value>

</property>

</configuration>

vimyarn-site.xml添加如下内容

<configuration>

<property>

<name>yarn.resourcemanager.address</name>

<value>node01:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>node01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>node01:8088</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>node01:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>node01:8033</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

2、启动集群

sudo mkdir /dfs/dn

sudo mkdir /dfs/nn

/usr/local/hadoop/bin/hdfs namenode -format

/usr/local/hadoop/sbin/start-all.sh

jps命令验证NameNode、DataNode、ResourceManager、NodeManager时候都成功启动了

五、hadoop部署（集群版）

以node01为master节点，node02、node03为slave节点安装为例说明：

1、修改配置文件（所有节点都要改） 

cd/usr/local/hadoop/etc/hadoop

vim slaves 添加如下内容

node02

node03

vim core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml配置文件修改内容与单机版部署一样

sudo mkdir /dfs/dn

sudo mkdir /dfs/nn

2、启动集群（node01节点运行启动脚本）

/usr/local/hadoop/bin/hdfs  namenode -format

/usr/local/hadoop/sbin/start-all.sh

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3818908.html