Hadoop集群的安装与配置（centos 6.5）

一、Hadoop搭建准备（centOs6.5  且每个系统都要有同一个用户，如：hadoop）

    1、IP的配置

包括Master和Slaves的IP配置，之间能够相互ping通；

 例如：

        192.168.1.2   Master

        192.168.1.3   Slave-1

        192.168.1.4   Slave-2

        192.168.1.5   Slave-3

其中每台机子配置IP的过程如下：

vi   /etc/sysconfig/network                                  //配置hostName

vi   /etc/sysconfig/network-script/ifcfg-eth0       //配置ip

 vi    /etc/hosts                   //配置hosts（所有集群的IP地址和对应的主机名称）

配置完成后，重启network    命令：service
network restart

测试是否能够ping通过

2、配置SSH

 1）首先，查看是否已经安装SSH

rmp -qa | grepopenssh

           rmp -qa |grep rsync

 2）若没有查询到结果，请按以下方式安装

yum -y installopenssh

            yum -y install rsync

3）重新启动服务：service
sshd restart 

        4）然后，配置Master无密码登录其它Slaves（以hadoop用户登录）

）ssh-keygen
–t rsa –P ''    //生成密钥对

         

）cat
~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

）chmod
600 authorized_keys

           

）用root用户登录服务器修改SSH配置文件"/etc/ssh/sshd_config"的下列内容。

RSAAuthentication yes #启用
RSA认证

               PubkeyAuthentication yes #启用公钥私钥配对认证方式

               AuthorizedKeysFile .ssh/authorized_keys #公钥文件路径（和上面生成的文件同）

）设置完之后记得重启SSH服务，才能使刚才设置有效。

servicesshd restart

）使用下面的命令格式进行复制公钥： 
 

scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

                chmod 600~/.ssh/authorized_keys

）用root用户修改"/etc/ssh/sshd_config"

 3、配置Java环境（其它机子雷同）

）下载适合系统版本的Java

）解压到/usr/java 

） vim /etc/profile加入：

 #set java environment

               export JAVA_HOME=/usr/java/jdk1.6.0_31

               export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

               export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

  （4） 测试环境：java -version

二、Hadoop的安装

    1、下载对应版本的Hadoop（安装到的目录/usr/hadoop）

    2、hadoop目录设置权限（用户组和用户都是hadoop）

    

            chown -R hadoop:hadoop  hadoop

    3、设置hadoop 启动环境

          vim /etc/profile

              

               #set hadoop path

             export HADOOP_HOME=/usr/hadoop

             export PATH=$PATH :$HADOOP_HOME/bin

       

        source/etc/profile

    4、配置Hadoop

       （1）vim  /usr/hadoop/conf/hadoop-env.sh

               # set java environment

              exportJAVA_HOME=/usr/java/jdk1.6.0_31

       （2）vim  /usr/hadoop/conf/core-site.xml

                <property>

                      <name>fs.default.name</name>

</value>

             </property>

       （3）vim  /usr/hadoop/conf/hdfs-site.xml

               <property>

                   <name>dfs.replication</name>

</value>

台就会报错)

            </property>

       （4）vim /usr/hadoop/conf/mapred-site.xml

               <property>

                   <name>mapred.job.tracker</name>

</value>

            </property>

       （5）vim  /usr/hadoop/conf/master

               192.168.1.2（本机IP地址，是指当本机down机时，进行冷启动的备份机）

       （6）vim  /usr/hadoop/conf/slaves

                192.168.1.3

192.168.1.4

192.168.1.5

    5、配置到其它Slaves机子

）scp拷贝 

              scp -r /usr/hadoop root@目标Ip:~/usr/

）改变权限

              chown -R hadoop:hadoophadoop

）设置Hadoop运行环境

              vim /etc/profile（见二-3）

三、启动Hadoop集群（使用hadoop用户）

    1、格式化HDFS文件系统

       hadoop namenode -format

    2、启动hadoop

        start-all.sh

        ls /usr/hadoop/logs/       查看日志

、验证hadoop

） jps

        

） hadoop
dfsadmin -report

四、其它问题

    

    1、日志Error：getting localhost name
using 'localhost'

    

       查看是否配置好 /etc/hosts要和Master的配置一样

、日志Error：java.net.NoRouteToHostException:No
route

       查看防火墙是否关闭：service iptables status

       关闭防火墙：service iptables stop

       永远关闭：chkconfig --level 0123456 iptables off