Hadoop伪分布式环境安装
一.环境准备
阿里云ECS(Centos7).已预装JDK8
Hadoop安装包 hadoop-2.7.7.tar.gz
二. 安装步骤
1.确认JDK环境的安装位置
命令 echo $JAVA_HOME
2.解压hadoop-2.7.7.tar.gz 文件夹到指定目录(目录可以自己定义)
命令 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/ (我这里是解压到 /opt/module/目录下)
3.配置运行环境
文件1:hadoop-env.sh
配置Hadoop对JDK依赖的环境
输入echo JAVA_HOME=(JDK环境的安装位置,根据步骤1可以确定)
文件2:core-site.xml
配置文件系统柜HDFS的主机名称和端口号(这里使用本机的名称,可以通过hostname查看主机名称.端口号随意指定,但是要在阿里云控制台开启对外端口
<property>
<name>fs.default.name</name><value>hdfs://localhost:8020</value></property>
配置文件系统namenode节点文件存放的目录
<property>
<name>dfs.name.dir</name>//hadoop临时目录用来存放临时文件,如果不设置,则该文件会在linux系统重启后消失
<value>/hadoop/name</value> //该目录必须预先手工创建不能删除
</property>
配置文件系统柜datanode节点文件存放目录
<property>
<name>dfs.data.dir</name> //hadoop临时目录用来存放namenode文件
<value>/hadoop/data</value> //该目录必须预先手工创建不能删除
</property>
配置文件系统临时文件的存放目录
<property>
<name>hadoop.tmp.dir</name> //hadoop临时目录用来存放datanode文件
<value>/hadoop/tmp</value> //该目录必须预先手工创建不能删除
</property>
文件2:hdfs-site.xml
配置dfs的副本数量,伪分布式设置为1即可
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.配置完成后需要 format格式化文件系统(注意.第一次执行即可,不要重复执行,重复执行会出问题,https://blog.csdn.net/weixin_38847462/article/details/77879459)
进入bin 目录下./hadoop namenode -format
出现以下提示表示格式化成功
5.启动hdfs
进入sbin目录下.启动脚本./start-dfs.sh
启动完成后 输入 jps可以查看是否启动成功(注意,如果这里没有配置ssh免密登录,name就会要你输入密码,很烦)
看到以下就是启动成功了
注意:如果没有这几个进程,就是启动失败,可以查看日志信息,日志信息在启动时可以查看,将out变为log即可
http://localhost:50070
6.配置Hadoop 的bin目录到系统的环境变量中,这样使用shell就比较方便
/opt/module/hadoop-2.7.7/bin
vim ~/.bash_profile
source ~/.bash_profile
使用echo $HADOOP_HOME确认是否配置成功
7.hadoop常用的命令
Hadoop伪分布式环境安装的更多相关文章
- Ubuntu15.10下Hadoop2.6.0伪分布式环境安装配置及Hadoop Streaming的体验
Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-clus ...
- 基于Centos搭建 Hadoop 伪分布式环境
软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 roo ...
- CentOS7下Hadoop伪分布式环境搭建
CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...
- 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...
- Hadoop Yarn(一)—— 单机伪分布式环境安装
HamaWhite(QQ:530422429)原创作品,转载请注明出处:http://write.blog.csdn.net/postedit/40556267. 本文是依据Hadoop官网安装教程写 ...
- Hadoop 3.1.3伪分布式环境安装Hive 3.1.2的异常总结
背景:hadoop版本为3.1.3, 且以伪分布式形式安装,hive版本为3.1.2,hive为hadoop的一个客户端. 1. 安装简要步骤 (1) 官网下载apache-hive-3.1.2-bi ...
- 《OD大数据实战》Hadoop伪分布式环境搭建
一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p / ...
- Linux下配置Hadoop伪分布式环境
1. 准备Linux环境 提示:我用的系统是CentOS 6.4. 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host- ...
- 初学者值得拥有【Hadoop伪分布式模式安装部署】
目录 1.了解单机模式与伪分布模式有何区别 2.安装好单机模式的Hadoop 3.修改Hadoop配置文件---五个核心配置文件 (1)hadoop-env.sh 1.到hadoop目录中 2.修 ...
随机推荐
- shell判断用户是否已经在系统中登录
- printcap - 打印机相容性数据库
总览 SYNOPSIS printcap 描述 DESCRIPTION Printcap 是 termcap(5) 的簡單版, 用來描述 line printers. 當用到 spool 系統時, 一 ...
- rpm - RPM 软件包管理器
SYNOPSIS 查询和校验软件包: rpm {-q|--query} [select-options] [query-options] rpm {-V|--verify} [select-optio ...
- KMP,Trie,AC自动机题目集
字符串算法并不多,KMP,trie,AC自动机就是其中几个最经典的.字符串的题目灵活多变也有许多套路,需要多做题才能体会.这里收集了许多前辈的题目做个集合,方便自己回忆. KMP题目:https:// ...
- gitlab私钥配置
一.Linux版 1).首先打开linux服务器,输入命令:ls -al ~/.ssh,检查是否显示有id_rsa.pub或者id_dsa.pub存在,如果存在请直接跳至第3步. 2).在bash中输 ...
- shell脚本学习(4)cut
cut 的两种用法 1种是 -c list 剪切字符串中特定位置的文字, /etc/passwd中的原始数据: yuyuyu:x:1000:1000:yuyuyu,,,:/home/yuyuyu: ...
- Delphi界面篇之ListView控件
//增加项或列(字段) ListView1.Clear; ListView1.Columns.Clear; ListView1.Columns.Add; ListView1.Columns.Add; ...
- python装饰器参数那些事_接受参数的装饰器
# -*- coding: utf-8 -*- #coding=utf-8 ''' @author: tomcat @license: (C) Copyright 2017-2019, Persona ...
- arm可以干什么
ARM开发可以控制各种电机.arm性能很强 ,内存更大, c语言当然可以.ARM是32位的,单片机是8位的,运行速度快很多,最关键的是可以跑操作系统.控制部分的内容ARM当然可以胜任,而且ARM的资源 ...
- windows10 cortana 不能搜索解决办法
不太确定是某次系统更新或安装VS软件之后, 发现windows10 cortana 搜索的结果是空白了, 搜索了相关帖子, 试遍所有方法都无效, 最后在联网的情况下, 只用了在powershell中重 ...