hadoop1.1.0的伪分布搭建步骤

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFuYnVyZW4wMQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFuYnVyZW4wMQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">--------------------------------------------------

一、单节点的安装

1.伪分布式的安装

1.1 改动ip

(1)打开VMWare或者VirtualBox的虚拟网卡

(2)在VMWare或者VirtualBox设置网络连接方式为host-only

(3)在linux中，改动ip。有上角的图标，右键，选择Edit  Connections....

****ip必须与windows下虚拟网卡的ip在同一个网段，网关必须是存在的。

(4)重新启动网卡。运行命令service network restart

****报错，如no suitable adapter错误。

(5)验证:运行命令ifconfig

1.2 关闭防火墙

(1)运行命令service iptables stop 关闭防火墙

(2)验证:运行命令service iptables status

1.3 关闭防火墙的自己主动开启

(1)运行命令chkconfig iptables off

(2)验证:运行命令chkconfig --list|grep iptables

1.4 改动hostname

(1)运行命令hostname cloud4  改动会话中的hostname

(2)验证:运行命令hostname

(3)运行命令vi  /etc/sysconfig/network 改动文件里的hostname

(4)验证:运行命令reboot -h now 重新启动机器

1.5 设置ip与hostname绑定

(1)运行命令vi  /etc/hosts

在文本最后添加一行192.168.80.100 cloud4

(2)验证:ping cloud4

1.6 ssh免password登陆

(1)运行命令ssh-keygen -t rsa   产生秘钥位于/root/.ssh/

(2)运行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys  产生授权文件

(3)验证:ssh localhost

1.7 安装jdk

(1)使用winscp把jdk、hadoop拷贝到linux的/root/Downloads

(2)cp  /root/Downloads/*  /usr/local

(3)cd /usr/local

赋予运行权限 chmod u+x  jdk-6u24-linux-i586.bin

(4)./jdk-6u24-linux-i586.bin

(5)重命名 mv jdk1.6.0_24  jdk

(6)运行命令 vi /etc/profile 环境变量设置  

添加两行 export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

  运行命令  source  /etc/profile

(7)验证:运行命令java -version

1.8 安装hadoop

(1)运行命令 tar -zxvf hadoop-1.1.2.tar.gz  解压缩

(2)运行命令  mv hadoop-1.1.2  hadoop

(3)运行命令 vi  /etc/profile  环境变量设置

添加一行 export HADOOP_HOME=/usr/local/hadoop

改动一行 export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

保存退出

  运行命令  source  /etc/profile


(4)验证:运行命令 hadoop

(5)改动位于conf/的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml

<1>文件hadoop-env.sh的第9行

export JAVA_HOME=/usr/local/jdk/





<2>文件core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://cloud4:9000</value>

<description>change your own hostname</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>  

</configuration>

<3>文件hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>





<4>文件mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>cloud4:9001</value>

<description>change your own hostname</description>

</property>

</configuration>

(6)运行命令 hadoop namenode -format 进行格式化

(7)运行命令 start-all.sh 启动hadoop

(8)验证：

<1>运行命令jps 查看java进程，发现5个进程，各自是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker

<2>通过浏览器查看http://master:50070 和 http://master:50030 

*****改动windows的C:/Windows/system32/drivers/etc/文件夹下的hosts文件

二、多节点的搭建

1.hadoop集群搭建

      1.1 hadoop集群式多台机器物理分布的，每一台物理机器都是承担不同的角色(NameNode\DataNode\SecondarynaemNode\JobTracker\TaskTracker)。

搭建三个节点的hadoop集群：hadoop0(NameNode、JobTracker、SecondarynaemNode)，hadoop1和hadoop2(DataNode、TaskTracker)。

      1.2 集群的各个节点通常都是物理机器。可是也能够包括虚拟机。

      1.3 在VMWare中复制出两个节点。删除这两个节点中的.ssh配置信息和/usr/local/文件夹下的全部内容

      1.4 设置这两个新节点的ip(各自是192.168.80.101和192.168.80.102)和hostname(hadoop1和hadoop2)。

      1.5 把全部的ip和hostname的映射信息配置在每个节点的/etc/hosts中。

      1.6 集群的各个节点之间SSH免password登陆

       (1)在两个新节点中产生ssh秘钥文件

(2)ssh-copy-id -i hadoop0

      1.7 把hadoop0上原来的/usr/local/hadoop/logs和/usr/local/hadoop/tmp文件夹删除

      1.8 把hadoop0上的jdk文件夹和hadoop文件夹拷贝到其它节点

        scp -r /usr/local/jdk  hadoop1:/usr/local

scp -r /usr/local/hadoop  hadoop1:/usr/local

     1.9 在hadoop0节点上配置主从关系。改动$HADOOP_HOME/conf/slaves文件。删除原有内容，改动为hadoop1和hadoop2.

    1.10 在hadoop0上格式化文件系统  hadoop namenode -format

    1.11 在hadoop0上运行命令  start-all.sh





    2.动态添加hadoop的从节点

   2.1 如果hadoop0是将要被新增的从节点

   2.2 改动主节点hadoop0的slaves文件。添加hadoop0

   2.3 在从节点hadoop0上手工启动DataNode和TaskTracker进程

      hadoop-daemon.sh start datanode|tasktracker

   2.4 让主节点载入新的从节点信息

     hadoop dfsadmin -refreshNodes





    3.动态改动副本数

      hadoop fs -setrep 2  /core-site.xml