Hadoop安装与配置

Hadoop介绍

　　　　

　　上面是官方介绍，翻一下来总结一句话就是：Hadoop是一个高可用，用于分布式处理大规模计算的工具。

Hadoop1.2 下载

.

Hadoop1.2 安装

　　1. 安装jDK

　　2. 配置hadoop集群

　　　　1) 在hadoop-env.sh配置JAVA_HOME

　　　　

　　　　2）配置core-site.xml

　　　　

　　　　3) 配置hdfs-site.xml

　　　　

　　　　4) 配置mapred-site.xml

　　　　

　　　　5) 配置masters和slaves

　　　　　我本地搭建Hadoop集群，一共三个节点，1主2从

　　　　　

　　3. 配置hostname

　　4. 修改hosts文件

　　　　　

　　5. 将修改的文件远程拷贝到从节点

scp  -r /opt/software/hadoop1.2.1/conf root@172.16.169.11://opt/software/hadoop1.2.1

　　6. 关闭防火墙和selinux

关闭防火墙和selinux
        6.1 关闭防火墙
        ) 重启后生效
            开启： chkconfig iptables on
            关闭： chkconfig iptables off
        ) 即时生效，重启后失效
            开启： service iptables start
            关闭： service iptables stop
        6.2 禁用selinux
            查看selinux状态：getenforce
            临时禁用：setenforce
            永久禁用：修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled 重启后生效

　　7. 配置三个节点无秘钥登陆

#生成RSA秘钥对
ssh-keygen -t rsa

#将本机公钥远程拷贝到从节点，ssh-copy-id会自动在从节点机器新建authorized_keys并将该文件权限设置为600
ssh-copy-id master | slave1 | slave2

　　8. 启动Hadoop集群

　　到这里整个hadoop集群都配置完成了，直接执行hadoop启动命令就可以。

#目录切换到hadoop安装目录的bin目录下
./start-all.sh

　　9. 查询hadoop集群是否正常启动

在三个节点执行jps命令如果能看到如图所示进程，则说明Hadoop机器正常启动了