一:准备Linux环境[安装略]
        a.修改主机名
                vim /etc/sysconfig/network
                NETWORKING=yes
                HOSTNAME=kevin1
         b.修改IP(通过修改配置文件)
                 vim /etc/sysconfig/network-scripts/ifcfg-eth0        
                        DEVICE="eth0"
                        BOOTPROTO="static"               
                        HWADDR="00:0C:29:3C:BF:E7"
                        IPV6INIT="yes"
                        NM_CONTROLLED="yes"
                        ONBOOT="yes"
                        TYPE="Ethernet"
                        UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
        IPADDR="192.168.1.118"                                  
NETMASK="255.255.255.0"          
                  GATEWAY="192.168.1.1"                                    
        c.修改主机名和IP的映射关系
                vim /etc/hosts          192.168.1.118        kevin1
        d.关闭防火墙
                  防火墙状态     service iptables status
             关闭防火墙     service iptables stop
                  查看防火墙开机启动状态    chkconfig iptables --list
                  关闭防火墙开机启动        chkconfig iptables off
   e.重启linux  reboot
二:安装JDK
        a.上传        
        b.解压jdk
                创建文件夹 mkdir /soft/
                解压 tar -zxvf tar包 -C /soft/
        c.将java添加到环境变量中
                vim /etc/profile
                #在文件最后添加
                export JAVA_HOME=/root/soft/jdk1.8.0_71                
export PATH=$PATH:$JAVA_HOME/bin
        d.让配置即可生效   source /etc/profile                
三:安装配置hadoop-2.6.5
        注意:hadoop2.x配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
        a.配置hadoop
          1.hadoop-env.sh  
vim hadoop-env.sh  修改export JAVA_HOME=/root/soft/jdk1.8.0_71
          2.core-site.xml
                     <property>  <!—指定HDFS的主节点(NameNode)的地址->
                              <name>fs.defaultFS</name>
                              <value>hdfs://kevin1:9000</value>
                    </property>
                           <property>    <!-指定hadoop运行时产生文件的存储目录 ->
                             <name>hadoop.tmp.dir</name>
                             <value>/root/soft/hadoop-2.6.5/tmp</value>
        </property>
         3.hdfs-site.xml
                <property>   <!-- 指定HDFS副本的数量 -->
                        <name>dfs.replication</name>
                        <value>1</value>
     </property>
         4.mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
                vim mapred-site.xml
                <property>  <!-- 指定mr运行在yarn上 –->
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
      </property>
          5.yarn-site.xml 
                <property>        <!--指定YARN的ResourceManager地址-->
                          <name>yarn.resourcemanager.hostname</name>
                          <value>kevin1</value>
       </property>
                  <property>   <!--mapreduce获取数据的方式-->
                           <name>yarn.nodemanager.aux-services</name>
                           <value>mapreduce_shuffle</value>
        </property>
        

b.将hadoop添加到环境变量 vim /etc/proflie
         export JAVA_HOME=/root/soft/jdk1.8.0_71
         export HADOOP_HOME=/root/soft/hadoop-2.6.5
         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
c.让配置文件及时生效:source /etc/profile
        
        d.格式化namenode(是对namenode进行初始化)
                hdfs namenode -format                
        e.启动hadoop
                先启动HDFS sbin/start-dfs.sh                        
                再启动YARN sbin/start-yarn.sh                                
        f.验证是否启动成功
                使用jps命令验证,获取到以下进程证明启动成功
                  27408 NameNode
                  28218 Jps
                  27643 SecondaryNameNode
                  28066 NodeManager
                  27803 ResourceManager
                  27512 DataNode
   g.在浏览器中验证
                http://192.168.135.129:50070 (HDFS管理界面)
                http://192.168.135.129:8088  (MR管理界面)
   h.通过上传下载进行测试HDFS功能
      上传命令:hadoop fs –put 文件 hdfs:192.168.135.129:9000/tomcat7
      下载命令:hadoop fs –get hdfs:192.168.135.129:9000/tomcat7 地址
      第2种方式下载:通过浏览器直接点击(可能映射不到)
          添加linux主机名和IP的映射关系
             C:\Windows\System32\drivers\etc\hosts添加
              192.168.135.129  kevin1

i.测试MR
  1.cd  /root/soft/hadoop-2.6.5/share/hadoop/mapreduce
    vim gs.txt  添加相关内容并保存退出
   2.把该文件上传至hdfs上
      Hadoop fs –put 文件路径 hdfs路径
hadoop fs -put goodStudy.txt hdfs://kevin1:9000/gs
      查看是否上传成功:hadoop fs –ls hdfs路径
   3.运行jar测试(命令)
      Hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount hdfs:// computer1:9000/gs hdfs://kevin1:9000/gsCount
   4.浏览器打开文件下载查看统计次数

Hadoop安装-部署-测试的更多相关文章

  1. 记一次Hadoop安装部署过程

    实验名称:Hadoop安装部署 一.实验环境: 虚拟机数量:3个 (1个master,2个slave:slave01,slave02) 主节点master信息: 操作系统:CentOS7.5 软件包位 ...

  2. redis cluster安装部署(测试环境)

    redis 应用于web前端,做缓存和数据存取的速度是挺可观的,最近看了一些资料,手痒了,就弄了一个测试环境,两台方案,试用一下. ##Redis 集群部署## 一,方案调研: 参考博客: http: ...

  3. zookeeper,hadoop安装部署其实与防火墙无关

    网上查看了很多人关于hadoop,zookeeper的文章,大多都把关闭防火墙作为首要前提,个人觉得这大可不必. 首先你需要知道你部署的是什么东西,它需要哪些端口即可.把相关端口打开就可以了啊.然后把 ...

  4. Hive Server 2 安装部署测试

    Hive 0.11 包含了Hive Server 1 和 Hive Server 2,还包含1的原因是为了做到向下兼容性.从长远来看都会以Hive Server 2作为首选 1. 配置hive ser ...

  5. presto-mysql/elasticsearch6.0.0安装部署测试,异种数据源关联查询入门实践

    本文简单记录一次实践使用过程,涉及presto-mysql,presto-elasticsearch,文中参数未做注释,请参考官方文档,希望能帮到大家 1 下载安装 presto-0.228 < ...

  6. Hadoop安装部署

    Hadoop伪分布式搭建 1.准备Linux环境 ①开启网络,ifconfig指令查看ip ②修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORK ...

  7. nfs服务安装部署测试

    nfs:网络文件系统作用:某个文件或目录共享,使其它用户可以通过网络访问此共享目录或文件.***特别注意共享的目录权限1.使用nfs需要先安装 yum install -y nfs-utils rpc ...

  8. Hadoop+Hbas完全分布式安装部署

    Hadoop安装部署基本步骤: 1.安装jdk,配置环境变量. jdk可以去网上自行下载,环境变量如下: 编辑  vim  /etc/profile 文件,添加如下内容: export JAVA_HO ...

  9. 安装部署Apache Hadoop (本地模式和伪分布式)

    本节内容: Hadoop版本 安装部署Hadoop 一.Hadoop版本 1. Hadoop版本种类 目前Hadoop发行版非常多,有华为发行版.Intel发行版.Cloudera发行版(CDH)等, ...

随机推荐

  1. MongoDB存储引擎(中)——WiredTiger

    上一篇博文介绍了MongoDB的MMAPv1存储引擎,本文接着介绍MongoDB另一个存储引擎--WiredTiger,WiredTiger是在MongoDB3.0版本引入的,并且在MongoDB3. ...

  2. dva.js 用法详解:列表展示

    本教程案例github:https://github.com/axel10/dva_demo-Counter-and-list/tree/master 这次主要通过在线获取用户数据并且渲染成列表这个案 ...

  3. opencv 学习入门篇

    unbuntu 安装:http://blog.csdn.net/cocoaqin/article/details/78163171 windows 安装:https://jingyan.baidu.c ...

  4. 云计算之路-阿里云上:docker swarm 问题最新进展

    今天中午我们在 docker swarm 集群上发布应用时遇到了一个奇怪的 docker swarm 内置负载均衡的问题,该应用的 2 个新容器成功启动后,在容器内访问正常,但通过服务名访问时一会正常 ...

  5. Python的Argparse模块是什么?(未完)

            近日在阅读代码的过程中遇到了Argparse模块,记得前段时间已经看了,可是过了两周现在又忘了, 看来写代码一定要钻研到底搞清楚其中原委才行,本文主要参考Python3.6系列官方文档 ...

  6. SQL 存储过程 多条件 分页查询 性能优化

    最优化查询代码 -- 注意:此处可能会出现 字符串过长问题,所以 必要的情况下请分段处理 set @sql1 =' SELECT * FROM ( select ROW_NUMBER() OVER(O ...

  7. C语言第三次博客作业---单层循环结构

    一.PTA实验作业 题目1 1.实验代码 int N,i; //N为用户数,i记录循环变量 double height; //height放身高 char sex; //sex放性别F为女,M为男 s ...

  8. R语言-用户细分

    案例:通过使用R语言的聚类算法将用户进行合理的划分,找出对超市贡献度,光临度最高的优质客户,对后期的推广有更深远的影响 1.导入包 library(dplyr) library(reshape2) l ...

  9. python安装第三方库

    在编写爬虫程序时发现unsolved import 一时不解,以为是ide出问题了,其实是没有安装第三方库导致的. 于是到https://pypi.python.org/pypi/requests/去 ...

  10. 微信小程序学习笔记(阶段二)

    二阶段学习过程: (一)看官方文档的框架.组件.API:https://mp.weixin.qq.com/debug/wxadoc/dev/ (二)看极客学院第3.4章视频:http://www.ph ...