hadoop集群配置全过程

一、nat配置
1、虚拟机-》编辑-》虚拟网络编辑器-》更改设置-》移除原VMnet8-》加新的VMnet8-》点击NAT模式
桥接模式-》NAT模式，初始化一下NAT模式
2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.126.10 #看虚拟机
NETMASK=255.255.255.0
GATEWAY=192.168.126.2 #看虚拟机
DNS1=202.106.0.20
3、/etc/init.d/network restart 重启网络

二、hadoop安装
1、挂起虚拟机-》复制虚拟机文件-》打开虚拟机
2、slave分机
编辑/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.126.11 #看虚拟机
NETMASK=255.255.255.0
GATEWAY=192.168.126.2 #看虚拟机
DNS1=202.106.0.20
3、/etc/init.d/network restart 重启网络
4、虚拟机删除网卡再添加网卡
5、master虚拟机与windows文件共享设置 jdk-6u45-linux-x64.bin、hadoop-1.2.1-bin.tar.gz
/mnt/hgfs/ 下有了共享目录
6、./jdk-6u45-linux-x64.bin 安装jdk
添加全局变量 ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
source ~/.bashrc 重启全局变量
7、远程复制文件：scp -rp jdk-6u45-linux-x64.bin 192.168.126.11:/usr/local/src/
8、slave分机重复第六步

9、master主机解压hadoop-1.2.1-bin.tar.gz
cd hadoop-1.2.1
mkdir tmp
cd conf
vim master ：内容为master
vim slaves ：内容为
slave1
slave2
vim core-site.xml : 内容为
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.126.10:9000</value>
</property>
</configuration>
vim mapred-site.xml ：内容为
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.126.10:9001</value>
</property>
</configuration>
vim hdfs-site.xml ：内容为
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
vim hadoop-env.sh ：最后添加
export JAVA_HOME=/usr/local/src/jdk1.6.0_45

10、本地网络配置master和slave都要配置
vim /etc/hosts
192.168.126.10 master
192.168.126.11 slave1
192.168.126.12 slave2
vim /etc/sysconfig/network
HOSTNAME=master（根据机器填写：slave1/slave2）
hostname master（根据机器填写：slave1/slave2）

11、hadoop复制到分机
scp -rp hadoop-1.2.1 192.168.126.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.126.12:/usr/local/src/

12、关闭防火墙（每台机器都要执行）
/etc/init.d/iptables stop
setenforce 0 #关闭selinux

三、master、slave建立互信关系
ssh-keygen #回车回车
cd ~/.ssh
cat id_rsa.pub > authorized_keys #公钥文件copy
把slave1的公钥slave2的公钥添加到authorized_keys 并把authorized_keys 复制到分机上

ssh slave1 ssh slave2 ssh master 进行验证互信关系

四、启动hadoop集群
cd /usr/local/src/hadoop-1.2.1/bin/
./hadoop namenode -format #初始化
./start-all.sh #启动
jps #查看进程（每台机器查看）
./hadoop fs -put /etc/passwd / #往集群里写文件
./hadoop fs -ls / #查看集群里的文件