1、Hadoop的伪分布式部署

伪分布式模式搭建：

 

1、环境准备

（1）主机名（root用户）

 # vi /etc/sysconfig/network
    HOSTNAME=hadoo1  （不要用下划线）

（2）创建普通用户conglitrs（后期课程里面都会用这个用户去操作）

    # useradd conglitrs
    # passwd conglitrs   

（3）把IP地址设置成静态IP（服务器是固定IP）

    虚拟机如下：

    # setup   --console

    或者

# vi /etc/sysconfig/network-scripts/ifcfg-eth0
        BOOTPROTO=none
        IPADDR=192.168.17.128
        NETMASK=255.255.255.0
        GATEWAY=192.168.17.2
        DNS1=202.96.209.5
        DNS2=8.8.8.8

（4）关闭防火墙和selinux

 # service iptables stop
    # chkconfig iptables off

    # vi /etc/sysconfig/selinux
    SELINUX=disabled  enforing

（5）添加hosts文件

   # vi /etc/hosts
    192.168.xxx.xxx          hadoop1

（6）重启服务器

  # reboot   

 

2、目录

  # mkdir /opt/softwares   （root）
    # mkdir /opt/modules   （root）
    # chown -R conglitrs:conglitrs /opt/  （root）

 

3、软件包

    xmanager  -->  hadoop2.5.0    jdk

 

4、安装jdk

$ tar zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/  （conglitrs用户）
# vi /etc/profile    （root）
## JAVA HOME
JAVA_HOME=/opt/modules/jdk1..0_67
PATH=$PATH:$JAVA_HOME/bin

$ source  /etc/profile      （conglitrs用户）

# rpm -e --nodeps java-1.6.-openjdk-1.6.0.0-1.50.1.11..el6_3.x86_64
# rpm -e --nodeps tzdata-java-2012j-.el6.noarch
# rpm -e --nodeps java-1.7.-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64   

 

 

5、安装hadoop

 

$ tar zxvf hadoop-2.5..tar.gz -C /opt/modules/  (conglitrs)

 

 

6、使用notepad++工具修改配置

/opt/modules/hadoop-2.5./etc/hadoop

 

hadoop-env.sh:

export JAVA_HOME=/opt/modules/jdk1..0_67
 

yarn-env.sh:

export JAVA_HOME=/opt/modules/jdk1..0_67

 

mapred-env.sh

JAVA_HOME=/opt/modules/jdk1..0_67

 

core-site.xml:

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
    </property>

 

hdfs-site.xml:

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

 

7、启动hdfs

hdfs -- >> （第一次）format  -->  start

 

$ bin/hdfs namenode -format
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
$ jps    查看java进程

 

8、测试上传文件

$ bin/hdfs dfs -mkdir /input
$ bin/hdfs dfs -put /etc/yum.conf /input
$ bin/hdfs dfs -ls /input
$ bin/hdfs dfs -cat /input/yum.conf

 

9、修改yarn相关

/opt/modules/hadoop-2.5./etc/hadoop

mapred-site.xml:

   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

yarn-site.xml:

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

 

10、启动yarn相关服务

$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager

 

 

11、浏览器浏览

http://192.168.xxx.xxx:50070/
http://192.168.xxx.xxx:8088/

 

12、简单mapreduce测试

 

$ vi sort.txt
hadoop  marpreduce
map    reduce
hadoop  reduce
hadoop  yarn

$ bin/hdfs dfs -put sort.txt /input
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5..jar wordcount /input/sort.txt /output
 

总结

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml