Hadoop安装-部署-测试

一:准备Linux环境[安装略]
        a.修改主机名
                vim /etc/sysconfig/network
                NETWORKING=yes
                HOSTNAME=kevin1
         b.修改IP(通过修改配置文件)
                 vim /etc/sysconfig/network-scripts/ifcfg-eth0        
                        DEVICE="eth0"
                        BOOTPROTO="static"               
                        HWADDR="00:0C:29:3C:BF:E7"
                        IPV6INIT="yes"
                        NM_CONTROLLED="yes"
                        ONBOOT="yes"
                        TYPE="Ethernet"
                        UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
        IPADDR="192.168.1.118"                                  
NETMASK="255.255.255.0"          
                  GATEWAY="192.168.1.1"                                    
        c.修改主机名和IP的映射关系
                vim /etc/hosts          192.168.1.118        kevin1
        d.关闭防火墙
                  防火墙状态     service iptables status
             关闭防火墙     service iptables stop
                  查看防火墙开机启动状态    chkconfig iptables --list
                  关闭防火墙开机启动        chkconfig iptables off
   e.重启linux  reboot
二:安装JDK
        a.上传        
        b.解压jdk
                创建文件夹 mkdir /soft/
                解压 tar -zxvf tar包 -C /soft/
        c.将java添加到环境变量中
                vim /etc/profile
                #在文件最后添加
                export JAVA_HOME=/root/soft/jdk1.8.0_71                
export PATH=$PATH:$JAVA_HOME/bin
        d.让配置即可生效   source /etc/profile                
三:安装配置hadoop-2.6.5
        注意：hadoop2.x配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
        a.配置hadoop
          1.hadoop-env.sh  
vim hadoop-env.sh  修改export JAVA_HOME=/root/soft/jdk1.8.0_71
          2.core-site.xml
                     <property>  <!—指定HDFS的主节点（NameNode）的地址->
                              <name>fs.defaultFS</name>
                              <value>hdfs://kevin1:9000</value>
                    </property>
                           <property>    <!-指定hadoop运行时产生文件的存储目录 ->
                             <name>hadoop.tmp.dir</name>
                             <value>/root/soft/hadoop-2.6.5/tmp</value>
        </property>
         3.hdfs-site.xml
                <property>   <!-- 指定HDFS副本的数量 -->
                        <name>dfs.replication</name>
                        <value>1</value>
     </property>
         4.mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
                vim mapred-site.xml
                <property>  <!-- 指定mr运行在yarn上 –->
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
      </property>
          5.yarn-site.xml 
                <property>        <!--指定YARN的ResourceManager地址-->
                          <name>yarn.resourcemanager.hostname</name>
                          <value>kevin1</value>
       </property>
                  <property>   <!--mapreduce获取数据的方式-->
                           <name>yarn.nodemanager.aux-services</name>
                           <value>mapreduce_shuffle</value>
        </property>
        

b.将hadoop添加到环境变量 vim /etc/proflie
         export JAVA_HOME=/root/soft/jdk1.8.0_71
         export HADOOP_HOME=/root/soft/hadoop-2.6.5
         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
c.让配置文件及时生效:source /etc/profile
        
        d.格式化namenode（是对namenode进行初始化）
                hdfs namenode -format                
        e.启动hadoop
                先启动HDFS sbin/start-dfs.sh                        
                再启动YARN sbin/start-yarn.sh                                
        f.验证是否启动成功
                使用jps命令验证,获取到以下进程证明启动成功
                  27408 NameNode
                  28218 Jps
                  27643 SecondaryNameNode
                  28066 NodeManager
                  27803 ResourceManager
                  27512 DataNode
   g.在浏览器中验证
                http://192.168.135.129:50070 （HDFS管理界面）
                http://192.168.135.129:8088  （MR管理界面）
   h.通过上传下载进行测试HDFS功能
      上传命令:hadoop fs –put 文件 hdfs:192.168.135.129:9000/tomcat7
      下载命令:hadoop fs –get hdfs:192.168.135.129:9000/tomcat7 地址
      第2种方式下载:通过浏览器直接点击(可能映射不到)
          添加linux主机名和IP的映射关系
             C:\Windows\System32\drivers\etc\hosts添加
              192.168.135.129  kevin1

i.测试MR
  1.cd  /root/soft/hadoop-2.6.5/share/hadoop/mapreduce
    vim gs.txt  添加相关内容并保存退出
   2.把该文件上传至hdfs上
      Hadoop fs –put 文件路径 hdfs路径
hadoop fs -put goodStudy.txt hdfs://kevin1:9000/gs
      查看是否上传成功:hadoop fs –ls hdfs路径
   3.运行jar测试（命令）
      Hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount hdfs:// computer1:9000/gs hdfs://kevin1:9000/gsCount
   4.浏览器打开文件下载查看统计次数