1.rz命令将hadoop压缩包上传至Linux服务器中

2.tar -zxvf hadoop-2.7.7.tar.gz(解压即可用)

3.将解压出来的hadoop移到想要放的位置 mv hadoop-2.7.7 ../software

4.配置六个文件

  配置文件在etc目录下

1.hadoop-env.sh

    cd /opt/software/hadoop-2.7.7

    vim etc/hadoop/hadoop-env.sh

    export JAVA_HOME=/opt/software/jdk1.8    #修改25行

    export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop    #修改33行

  2.core-site.xml

    <configuration>

      <!--指定HDFS中NameNode的地址-->

      <property>

        <name>fs.defalutFS</name>

        <value>hdfs://主机名:9000</value>

      </property>

      <!--指定hadoop运行是产生文件的存储目录-->

      <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/software/hadoop-2.7.7/tmp</value>

      </property>

    </configuration>

  3.hdfs-site.xml

    <configuration>

      <!--指定HDFS副本的数量-->

      <property>

        <name>dfs.replication</name>

        <value>1</value>

      </property>

      

      <property>

        <name>dfs.permissions</name>

        <value>false</value>

      </property>

    </configuration>

  4.mapred-site.xml

    <configuration>

      <!--指定mr运行在yarn上-->

      <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

      </property>

    </configuration>

  5.yarn-site.xml

    <configuration>

      <!--指定yarn的ResourceManager的地址-->

      <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>主机名</value>

      </property>

      <!--指定reduce获取数据的方式-->

      <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

      </property>

    </configuration>

  5.slaves

    主机名

5.给hadoop配置环境变量

vim /etc/profile

  JAVA_HOME=/opt/software/jdk1.8

  HADOOP_HOME=/opt/software/hadoop-2.7.7

  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  

  source /etc/profile

6.修改主机映射

vim /etc/hosts

  192.168.2.121  主机名

7.格式化文件系统

hadoop namenode -format

8.关闭安全相关

systemctl stop firewalld
systemctl disable firewalld //关闭防火墙 vim /etc/selinux/config
SELINUX=disabled systemctl stop NetworkManager
systemctl disable NetworkManager

9.启动hadoop服务

start-all.sh            //启动所有

stop-all.sh(关闭hadoop)

hadoop-daemon.sh start namenode  //启动NameNode

hadoop-daemon.sh start datanode    //启动DataNode

yarn-daemon.sh start resourcemanager  //启动ResourceManager

yarn-daemon.sh start nodemanager    //启动NodeManager

10.WEB端查看

http://192.168.2.121:50070        //查看NameNode的状态
http://192.168.2.121:50075 //查看DataNode的状态
http://192168.2.121:50090 //查看SecondaryNameNode的状态

11.HDFS的一些方法

1.创建文件
  hadoop fs -mkdir -p /user/upload
2.上传文件
  hadoop fs -put 需上传的文件路径 /user/upload
3.下载文件
  hadoop fs -get 需下载的文件路径
4.查看文件
  hadoop fs -ls 路径
4.删除文件
  hadoop fs -rm 路径

注意事项:

1.多次使用hadoop namenode -format格式化时会造成spaceID不一致,启动不了datanode节点
解决方案:
  1.停止集群
    stop-all.sh
  2.删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件夹)下面的所有数据
    rm -rf tmp
  3.重新格式化namenode
    hdfs namenode -format    或者    hadoop namenode -format
  4.重新启动hadoop集群
    start-all.sh

01初步启动Hadoop服务的更多相关文章

  1. 使用ansible控制Hadoop服务的启动和停止

    一.环境: 服务器一台,已安装centos7.5系统,做ansible服务器: 客户机三台:hadoop-master(192.168.1.18).hadoop-slave1(192.168.1.19 ...

  2. 指导手册01:安装Hadoop

    指导手册01:安装Hadoop  Part 1:安装及配置虚拟机 1.安装Linux. (1)打开VMvirtualBox (2) 控制->新建虚拟机,输入虚拟机名称“marst+学号” 类型: ...

  3. Windows 共享无线上网 无法启动ICS服务解决方法(WIN7 ICS服务启动后停止)

    Windows 共享无线上网 无法启动ICS服务解决方法(WIN7 ICS服务启动后停止) ICS 即Internet Connection Sharing,internet连接共享,可以使局域网上其 ...

  4. 启动Hadoop HA Hbase zookeeper spark

    服务器角色 服务器 192.168.58.180 192.168.58.181 192.168.58.182 192.168.58.183 Name CentOSMaster Slvae1 Slave ...

  5. mysql-5.7.10-winx64 MySQL服务无法启动,服务没有报告任何错误的解决办法

      总结报错原因:在my.init文件下新增data目录(datadir = F:\mysqldata ) 最新解压版本的mysql 解压安装的时候报错D:\mysql\mysql-5.7.10-wi ...

  6. Windows下命令行下启动ORACLE服务

    检查监听器状态:C:\>lsnrctl statusLSNRCTL for 32-bit Windows: Version 9.2.0.1.0 - Production on 30-6月 -20 ...

  7. hadoop集群搭建--CentOS部署Hadoop服务

    在了解了Hadoop的相关知识后,接下来就是Hadoop环境的搭建,搭建Hadoop环境是正式学习大数据的开始,接下来就开始搭建环境!我们用到环境为:VMware 12+CentOS6.4 hadoo ...

  8. Hadoop服务库与事件库的使用及其工作流程

    Hadoop服务库与事件库的使用及其工作流程   Hadoop服务库: YARN采用了基于服务的对象管理模型,主要特点有: 被服务化的对象分4个状态:NOTINITED,INITED,STARTED, ...

  9. CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务

    参考 Cloudera Enterprise 5.16.x Installing Cloudera Manager, CDH, and Managed Services Installation Pa ...

随机推荐

  1. Atcoder Beginner Contest 147C(状态压缩)

    最多15个人,用N个二进制的数字表示每个人的状态,然后检验.这串数字相当于已经把这些人的状态定了下来,如果和输入的情况不符则这串数字不正确,直接忽略,因为枚举了所有的情况,所以总有正确的,不必在错误的 ...

  2. iptables详解(3):增删改存

    总结一下iptables规则管理的增删改存命令: 1.添加规则: 1)在指定表的指定链的末尾添加一条规则,-A选项表示在末尾添加,-j表示采取的动作,例如DROP.REJECT.ACCEPT 命令语法 ...

  3. NMAP输出结果中CPE的含义【转】

    CPE全称是Common Platform Enumeration,意思是通用平台枚举项:它是NMAP对识别出来的软件.操作系统和硬件的一种命名方式:格式如下: cpe:/<part>:& ...

  4. Spring一些注解

    spring @component的作用详细介绍 1.@controller 控制器(注入服务) 2.@service 服务(注入dao) 3.@repository dao(实现dao访问) 4.@ ...

  5. H5拖动事件复习

    定义和用法 ondrag 事件在元素或者选取的文本被拖动时触发. 拖放是 HTML5 中非常常见的功能. 更多信息可以查看我们 HTML 教程中的 HTML5 拖放. 注意: 为了让元素可拖动,需要使 ...

  6. jQuery的ajax方法的属性以及jsonp的随机数问题

    原文地址[ http://www.cnblogs.com/know/archive/2011/10/09/2204005.html ] <!DOCTYPE html PUBLIC "- ...

  7. 《实战Java高并发程序设计》读书笔记一

    第一章 走入并行世界 1.基本概念 同步:同步方法一旦开始,调用者必须等到方法调用返回后,才能继续后续操作 异步:一旦开始,方法调用就会立即返回,调用就可以继续后续操作 并发:表示两个或者多个任务一起 ...

  8. redis(一)动态字符串

    redis 动态字符串 概述 Sda(Simple Dynamic String) 简单动态字符串是 redis中用来表示字符串的结构,而不是传统 C 字符串. 主要的特点就是Sda要做到高效和 二进 ...

  9. POJ 3041 Asteroids(二分图 && 匈牙利算法 && 最小点覆盖)

    嗯... 题目链接:http://poj.org/problem?id=3041 这道题的思想比较奇特: 把x坐标.y坐标分别看成是二分图两边的点,如果(x,y)上有行星,则将(x,y)之间连一条边, ...

  10. layui 延时加载

    //延时关闭当前页面,并刷新父页面layer.msg('提交成功',{time: 1800},function () { parent.layer.close(index); window.paren ...