Hadoop伪分布式部署

一、Hadoop组件依赖关系：

步骤

1）关闭防火墙和禁用SELinux

切换到root用户

关闭防火墙：service iptables stop

Linux下开启/关闭防火墙的两种方法

1.永久性生效，重启后不会恢复：

开启：chkconfig iptables on

关闭：chkconfig iptables off

2.即时生效，重启后恢复

开启：service iptables start

关闭：service iptables stop

禁用SELinux

vim /etc/sysconfig/selinux 设置SELinux=disabled

2）设置静态IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0

3)修改主机名（hostname）

vim /etc/sysconfig/network

4)IP与hostname绑定

作用：可以在window浏览器主页上输入IP地址加端口号访问linux下Hadoop的运行进程

vim /etc/hosts

内容显示如下

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

192.168.217.150 linux.chaofn.org linux

然后在window下的C:\Windows\System32\drivers\etc目录下有一个hosts文件，打开写入

192.168.217.150 linux.chaofn.org linux

5）设置SSH自动登录（所有守护进程通过SSH协议进行通信）

免秘钥设置，方便namenode向datanode的访问

切换到普通用户

输入命令 ssh-keygen -t rsa

默认是在~/.ssh/目录下

drwx------ 2 chaofn chaofn 4096 May 20 20:00 .ssh 权限为700，要改为644

进入.ssh目录，有两个文件id_rsa  id_rsa.pub，一个是私钥，一个是公钥

然后复制一份id_rsa.pub，命令：cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(这个操作实现了权限的更改)

测试.命令 ssh localhost

ssh linux.chaofn.org

6)Hadoop环境变量配置：

vim /etc/profile   添加如下内容：

#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin

7）修改conf目录下的配置文件

配置core-site.xml

配置hdfs-site.xml

配置mapred-site.xml、masters、slaves

8）格式化namenode

命令：hadoop namenode -format

注意格式化过程中出现的错误提示，仔细检查

9）启动Hadoop

命令：start-all.sh(启动方式有很多种)

通过jps命令查看五个进程是否全部启动

通过window的网页界面查看

输入hadoop-master.dragon.org:50030(我的域名是linux.chaofn.org)查看是否启动

注意一定要关闭linux下的防火墙，不然window无法访问