一.环境准备

  阿里云ECS(Centos7).已预装JDK8

  Hadoop安装包 hadoop-2.7.7.tar.gz

二. 安装步骤

  1.确认JDK环境的安装位置

  命令 echo $JAVA_HOME

  2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录可以自己定义)

  命令 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/ (我这里是解压到 /opt/module/目录下)

  3.配置运行环境

    文件1:hadoop-env.sh

        配置Hadoop对JDK依赖的环境

      输入echo JAVA_HOME=(JDK环境的安装位置,根据步骤1可以确定)

    文件2:core-site.xml

      配置文件系统柜HDFS的主机名称和端口号(这里使用本机的名称,可以通过hostname查看主机名称.端口号随意指定,但是要在阿里云控制台开启对外端口

<property>
<name>fs.default.name</name><value>hdfs://localhost:8020</value></property>

      配置文件系统namenode节点文件存放的目录

<property>
<name>dfs.name.dir</name>//hadoop临时目录用来存放临时文件,如果不设置,则该文件会在linux系统重启后消失
<value>/hadoop/name</value> //该目录必须预先手工创建不能删除
</property>

     配置文件系统柜datanode节点文件存放目录

<property>
<name>dfs.data.dir</name> //hadoop临时目录用来存放namenode文件
<value>/hadoop/data</value> //该目录必须预先手工创建不能删除
</property>

      配置文件系统临时文件的存放目录

<property>
<name>hadoop.tmp.dir</name> //hadoop临时目录用来存放datanode文件
    <value>/hadoop/tmp</value> //该目录必须预先手工创建不能删除
</property>

   文件2:hdfs-site.xml

      配置dfs的副本数量,伪分布式设置为1即可

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

  4.配置完成后需要 format格式化文件系统(注意.第一次执行即可,不要重复执行,重复执行会出问题,https://blog.csdn.net/weixin_38847462/article/details/77879459)

    进入bin 目录下./hadoop namenode -format

    出现以下提示表示格式化成功

    

  5.启动hdfs

    进入sbin目录下.启动脚本./start-dfs.sh

    启动完成后 输入 jps可以查看是否启动成功(注意,如果这里没有配置ssh免密登录,name就会要你输入密码,很烦)

    看到以下就是启动成功了

    

    注意:如果没有这几个进程,就是启动失败,可以查看日志信息,日志信息在启动时可以查看,将out变为log即可

    http://localhost:50070

  6.配置Hadoop 的bin目录到系统的环境变量中,这样使用shell就比较方便

    /opt/module/hadoop-2.7.7/bin

    vim ~/.bash_profile

    source ~/.bash_profile

    使用echo $HADOOP_HOME确认是否配置成功

    

  7.hadoop常用的命令

    

    

      

Hadoop伪分布式环境安装的更多相关文章

  1. Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验

    Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-clus ...

  2. 基于Centos搭建 Hadoop 伪分布式环境

    软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 roo ...

  3. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  4. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  5. Hadoop Yarn(一)—— 单机伪分布式环境安装

    HamaWhite(QQ:530422429)原创作品,转载请注明出处:http://write.blog.csdn.net/postedit/40556267. 本文是依据Hadoop官网安装教程写 ...

  6. Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结

    背景:hadoop版本为3.1.3, 且以伪分布式形式安装,hive版本为3.1.2,hive为hadoop的一个客户端. 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bi ...

  7. 《OD大数据实战》Hadoop伪分布式环境搭建

    一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p / ...

  8. Linux下配置Hadoop伪分布式环境

    1. 准备Linux环境 提示:我用的系统是CentOS 6.4. 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host- ...

  9. 初学者值得拥有【Hadoop伪分布式模式安装部署】

    目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 ​ 2.修 ...

随机推荐

  1. shell判断用户是否已经在系统中登录

  2. printcap - 打印机相容性数据库

    总览 SYNOPSIS printcap 描述 DESCRIPTION Printcap 是 termcap(5) 的簡單版, 用來描述 line printers. 當用到 spool 系統時, 一 ...

  3. rpm - RPM 软件包管理器

    SYNOPSIS 查询和校验软件包: rpm {-q|--query} [select-options] [query-options] rpm {-V|--verify} [select-optio ...

  4. KMP,Trie,AC自动机题目集

    字符串算法并不多,KMP,trie,AC自动机就是其中几个最经典的.字符串的题目灵活多变也有许多套路,需要多做题才能体会.这里收集了许多前辈的题目做个集合,方便自己回忆. KMP题目:https:// ...

  5. gitlab私钥配置

    一.Linux版 1).首先打开linux服务器,输入命令:ls -al ~/.ssh,检查是否显示有id_rsa.pub或者id_dsa.pub存在,如果存在请直接跳至第3步. 2).在bash中输 ...

  6. shell脚本学习(4)cut

    cut 的两种用法 1种是 -c list   剪切字符串中特定位置的文字, /etc/passwd中的原始数据: yuyuyu:x:1000:1000:yuyuyu,,,:/home/yuyuyu: ...

  7. Delphi界面篇之ListView控件

    //增加项或列(字段) ListView1.Clear; ListView1.Columns.Clear; ListView1.Columns.Add; ListView1.Columns.Add; ...

  8. python装饰器参数那些事_接受参数的装饰器

    # -*- coding: utf-8 -*- #coding=utf-8 ''' @author: tomcat @license: (C) Copyright 2017-2019, Persona ...

  9. arm可以干什么

    ARM开发可以控制各种电机.arm性能很强 ,内存更大, c语言当然可以.ARM是32位的,单片机是8位的,运行速度快很多,最关键的是可以跑操作系统.控制部分的内容ARM当然可以胜任,而且ARM的资源 ...

  10. windows10 cortana 不能搜索解决办法

    不太确定是某次系统更新或安装VS软件之后, 发现windows10 cortana 搜索的结果是空白了, 搜索了相关帖子, 试遍所有方法都无效, 最后在联网的情况下, 只用了在powershell中重 ...