CentOS7上安装伪分布式Hadoop
1.下载安装包
下载hadoop安装包
官网地址:https://hadoop.apache.org/releases.html
版本:建议使用hadoop-2.7.3.tar.gz
系统环境:CentOS 7
注:需要装有JDK支持,版本1.8或者更高
2.解压安装包
- 默认软件安装路径为 /usr/soft,因此先传输安装包到该路径下
cd /usr/soft
tar -zxvf hadoop-2.7.3.tar.gz
3.环境变量配置
vi /ect/profile
文件末尾换行追加以下内容
export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_MAPRED_HOME=HADOOP_HOME
export HADOOP_COMMON_HOME=HADOOP_HOME
export HADOOP_HDFS_HOME=HADOOP_HOME
export YARN_HOME=HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOME/lib/native
export PATH=PATH:HADOOP_HOME/sbin:HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
修改完配置后,更新文件
source /etc/profile
4.伪分布式配置
文件目录:/usr/soft/hadoop-2.7.3/etc/hadoop/
需要修改的文件:core-site.xml、hdfs-site.xml、mapred-site.xml 、yarn-site.xml
a) core-site.xml
先在hadoop文件夹内touch一个目录名为tmp
cd /usr/soft/hadoop-2.7.3
mkdir tmp
向文件中的configuration标签内添加以下内容:
1)fs.defaultFS = hdfs://192.168.0.103:9000 默认文件系统(本地默认 file:/位置)此处端口与HBASE端口设成一样
2)hadoop.tmp.dir=/usr/soft/hadoop-2.7.3/tmp
b) hdfs.site.xml
dfs.replication = 1 (副本个数,最少3个伪分布只写1个),进程于主机关系
c) mapred-site.xml
目录内并没有全名为mapred-site.xml的文件,但是有一个名为:mapred-site.xml.template
复制该文件重新命名为mapred-site.xml;
cd /usr/soft/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
修改配置文件:Mapreduce.framewok.name=yarn ,设置映射化简模型框架为yarn
<property>
<name>mapreduce.framewok.name</name>
<value>yarn</value>
</property>
d) yarn-site.xml
Yarn.resourcemanager.localhost=localhost //yarn站点名称
Yarn.nodemanager.aux-service=mapreduce_shuffle //辅助节点管理
e) hadoop-env.sh (可选)
最好将jdk配置的相对路径更改为绝对路径
文件修改完成!
5.配置SSH(安全套接字处理)
目的是使用脚步启动远程服务器的启动,必须使用shell登陆远程服务,但每个登陆都需要输入密码就非常麻烦,所有需要配置无密配置,需要在NameNode上生成私钥,把公钥发给DataNode
a) 生成秘钥对
ssh-keygen -t rsa
b)把公钥拷贝到秘钥库中
伪分布式时,复制到自己
cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
完全分布式时,复制到DataNode(另一个计算机节点)
scp root@主机名:~/.ssh/id_rsa.pub ~/.ssh/id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
c) 把authorized_key权限设置为600
chmod 600 ~/.ssh/authorized_keys
注:想在宿主机中访问hadoop站点步骤
修改虚拟机中/etc/hosts文件删除127.0.0.1信息
增加信息
本机IP master
本机IP slave
本机IP localhost
6.格式化NameNode
hdfs namenode -format
如果提示没找到命令,重新检查第三步环境变量配置
7.启动Hadoop
启动命令(都存放在sbin 文件夹下)
cd /usr/soft/hadoop-2.7.3/sbin/
start-all.sh
或
start-dfs.sh
start-yarn.sh
8 检查启动状态
浏览器访问地址,出现页面即成功
本机地址:50070
CentOS7上安装伪分布式Hadoop的更多相关文章
- ubuntu 下安装伪分布式 hadoop
安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclips ...
- ubuntu安装伪分布式Hadoop3.1.2
作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 本文是基于已经安装好的ubuntu环境上搭建伪分布式hadoop,在 ...
- VMwareWorkstation 平台 Ubuntu14 下安装配置 伪分布式 hadoop
VMwareWorkstation平台Ubuntu14下安装配置伪分布式hadoop 安装VmwareStation 内含注册机. 链接:https://pan.baidu.com/s/1j-vKgD ...
- 在centos7上安装Jenkins
在centos7上安装Jenkins 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins ...
- 在 CentOS7 上安装 zookeeper-3.4.9 服务
在 CentOS7 上安装 zookeeper-3.4.9 服务 1.创建 /usr/local/services/zookeeper 文件夹: mkdir -p /usr/local/service ...
- 在 CentOS7 上安装 MongoDB
在 CentOS7 上安装 MongoDB 1 通过 SecureCRT 连接至 CentOS7 服务器: 2 进入到 /usr/local/ 目录: cd /usr/local 3 在当前目录下创建 ...
- 在 CentOS7 上安装 MySQL5.7
在 CentOS7 上安装 MySQL5.7 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建 ...
- 在 CentOS7 上安装 Tomcat9
在 CentOS7 上安装 Tomcat9 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建目 ...
- 在CentOS7上安装JDK1.8
在CentOS7上安装JDK1.8 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建目录 to ...
随机推荐
- Docker及其使用思维导图
学习Docker的使用. 包括Docker的一些命令,Docker容器的使用,Docker镜像的使用,Docker容器连接等内容. 各种思维导图下载地址 Docker使用思维导图及各各种命令 Dock ...
- OpenStack (cinder存储服务)
cinder简介 提供 OpenStack 存储块(Volume)服务,该管理模块原来也为 Nova 的一部分,即 Nova-volume,后来从 Folsom 版本开始使用 Cinder 来分离出块 ...
- JDK中jps、jinfo、jstat、jstack、jmap、jconsole等命令简介
JDK提供了几个很实用的工具,如下: jinfo:观察运行中的java程序的运行环境参数:参数包括Java System属性和JVM命令行参数,java class path等信息.命令格式:jinf ...
- 【uva 11491】Erasing and Winning(算法效率--贪心+单调队列)
题意:有一个N位整数,要求输出删除其中D个数字之后的最大整数. 解法:贪心.(P.S.要小心,我WA了2次...)由于规定了整数的位数,那么我们要尽量让高位的数字大一些,也就是要尽量删去前面小的数字. ...
- hdu 6795 Little W and Contest 并查集+排列组合
题意: t组输入,有n个人,刚开始谁也不认识谁.每一个人有一个权值w[i](1<=w[i]<=2),你要挑选3个互相不认识的人组成一个队,且要保证3个人权值之和大于等于5(也就意味着最少要 ...
- 母函数 <普通母函数(HDU - 1028 ) && 指数型母函数(hdu1521)>
给出我初学时看的文章:母函数(对于初学者的最容易理解的) 普通母函数--------->HDU - 1028 例题:若有1克.2克.3克.4克的砝码各一 枚,能称出哪几种重量?各有几种可能方案? ...
- KMP && Manacher && 扩展KMP整理
KMP算法: kmp示例代码: void cal_next(char *str, int *next, int len) { next[0] = -1;//next[0]初始化为-1,-1表示不存在相 ...
- Codeforces Round #653 (Div. 3) D. Zero Remainder Array (数学,模拟)
题意:有一组数,刚开始时\(x=0\),每次可以让\(x\)++或让某一个元素+=\(x\)后\(x\)++,每个元素只能加一次\(x\),问最少操作多少次使得所有元素能被\(k\)整除. 题解:每个 ...
- CF1462-E2. Close Tuples (hard version)
本题为hard版,还有一个easy版,区别在于k和m的取值不同. 题意: 给出一个由n个数字组成的数组 \(a\).现在定义一种子集为\(\{A_1, A_2, A_3, ..., A_m\}\),使 ...
- web 安全 & web 攻防: XSS(跨站脚本攻击)和 CSRF(跨站请求伪造)
web 安全 & web 攻防: XSS(跨站脚本攻击)和 CSRF(跨站请求伪造) XSS(跨站脚本攻击)和CSRF(跨站请求伪造) Cross-site Scripting (XSS) h ...