3.1-3.5 分布式部署hadoop2.x的准备和配置
一、环境
192.168.1.130 master
192.168.1.131 slave1
192.168.1.132 slave2
所有主机:
1、关闭防火墙、selinux
2、配置hosts文件
3、yum -y install vim wget tree ntpdate lrzsz openssh-clients
4、配置文件描述符等,同步时间;
5、mkdir -p /opt/app #hadoop安装目录
6、mkdir -p /opt/{datas,modules,softwares,tools} #存放其他程序或文件的目录
二、节点配置规划
服务:
服务 | master | slave1 | slave2 |
HDFS | namenode | secondarynamenode | |
HDFS | datanode | datanode | datanode |
yarn | resourcemanager | ||
yarn | nodemanager | nodemanager | nodemanager |
mapreduce | jobhistoryserver |
配置文件:
HDFS:
hadoop-env.sh -->JDK
core-site.xml -->namenode
hdfs-site.xml -->secondarynamenode
slaves -->datanode YARN:
yarn-env.sh -->JDK
yarn-site.xml -->resourcemanager
slaves -->nodemanager MapReduce:
mapred-env.sh -->JDK
mapred-site.xml -->Jobhistoryserver
三、安装
1、安装JDK(所有节点)
#先卸载系统自带的JDK [root@master softwares]# pwd #softwares目录存放安装包
/opt/softwares [root@master softwares]# ls
hadoop-2.5.0.tar.gz jdk-7u80-linux-x64.tar.gz [root@master softwares]# tar zxf jdk-7u80-linux-x64.tar.gz -C /opt/moduls/ #配置环境变量
vim /etc/profile
#JDK
export JAVA_HOME=/opt/modules/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin #source
source /etc/profile java -version
2、安装hadoop
(1)hdfs
#解压
[root@master softwares]# tar zxf hadoop-2.5.0.tar.gz -C /opt/app/ #现在只解压到master,后面会分发 #hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #core-site.xml
<configuration> <property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property> <property>
<name>fs.trash.interval</name>
<value>10080</value>
</property> </configuration> #创建 /opt/app/hadoop-2.5.0/data/tmp
[root@master ~]# mkdir -p /opt/app/hadoop-2.5.0/data/tmp #hdfs-site.xml
<configuration> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property> </configuration> #slaves (datanode和nodemanager都在是这里面配置的)
master
slave1
slave2
(2)yarn
#yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #yarn-site.xml
<configuration> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property> <property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property> <property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property> </configuration> #slaves
master
slave1
slave2
(3)mapreduce
#mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #mapred-site.xml
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property> </configuration>
四、配置ssh免密登陆
此步骤不难,基本可以略过;
cd /root/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >>authorized_keys
五、分发
分发HADOOP安装包至各个机器节点;
#master上
[root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave1:/opt/app/ [root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave2:/opt/app/ #slave1
[root@slave1 ~]# ls /opt/app/
hadoop-2.5.0 #slave2
[root@slave2 ~]# ls /opt/app/
hadoop-2.5.0
3.1-3.5 分布式部署hadoop2.x的准备和配置的更多相关文章
- hadoop2.6分布式部署时 livenodes等于1的原因
1.问题描述 在进行hadoop2.x版本的hdfs分布式部署时,遇到了一个奇怪的问题: 使用start-dfs.sh命令启动dfs之后,所有的datanode节点上均能看到datanode进程,然而 ...
- hadoop2.4完全分布式部署
hadoop2.4完全分布式部署 感谢:http://blog.csdn.net/licongcong_0224/article/details/12972889 集群组成: 两台red hat en ...
- Hadoop2 伪分布式部署
一.简单介绍 二.安装部署 三.执行hadoop样例并測试部署环境 四.注意的地方 一.简单介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop的框架最核心的设计就是: ...
- Hadoop 2.6.0分布式部署參考手冊
Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 ...
- Apache Hadoop 2.9.2 完全分布式部署
Apache Hadoop 2.9.2 完全分布式部署(HDFS) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.环境准备 1>.操作平台 [root@node101.y ...
- Hadoop生态圈-zookeeper完全分布式部署
Hadoop生态圈-zookeeper完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客部署是建立在Hadoop高可用基础之上的,关于Hadoop高可用部署请参 ...
- Hadoop 完全分布式部署
完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙.静态ip.主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)集群时间同步 7 ...
- Hadoop生态圈-flume日志收集工具完全分布式部署
Hadoop生态圈-flume日志收集工具完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 目前为止,Hadoop的一个主流应用就是对于大规模web日志的分析和处理 ...
- Hadoop生态圈-phoenix完全分布式部署以及常用命令介绍
Hadoop生态圈-phoenix完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. phoenix只是一个插件,我们可以用hive给hbase套上一个JDBC壳,但是你 ...
随机推荐
- XML Publisher Template Type - Microsoft Excel Patch
XML Publisher Template Type - Microsoft Excel Patch Oracle XML Publisher > Templates > Create ...
- python 工具ScreenShoot
环境:windows python3 # -*- coding: UTF-8 -*- import time import os, win32gui, win32ui, win32con, win32 ...
- 配置 yum 源相关
1. 修改yum配置 http://www.cnblogs.com/shuaixf/archive/2011/11/30/2268496.html 2. centos安装 epel 源 https:/ ...
- java基础知识汇总6(html篇)
五.html // 定义文档类型. < html> 定义 HTML 文档. < body> 定义文档的主体. < h1> to < h6> 定义 HTM ...
- vim note (1)
'vim' go into the vim mode 'i' 'a' 's' is means insert mode 'v' is means visual mode 'esc' is mea ...
- 初学c的一点体会
自学C语言的一些体会1 从最初什么都不知道变成知道一点,一转眼就过去了三个多月,最开始只是刚进大学,感觉太闲了不太好就决定学点什么,于是就到图书馆逛了一圈找找看有什么有趣的书可以看看,刚好就在书架上看 ...
- php利用cookie防止重复提交解决办法
原理:如果数据通过了上边的两次验证,说明数据是合法有效的数据,这时候我们把提交的数据串接为一个字符串,并用MD5加密后得到一个MD5的值. 接着我们把这个值通过Cookie放进客户端,当用户下一次提交 ...
- sanic官方文档解析之Exception和Middleware,Listeners
1,异常 异常是从处理请求内部抛出来的,并且通过Sanic自动的被处理异常,,异常用第一个参数携带异常信息,还可以接受在HTTP响应中要传递回的状态代码.引发异常 1.1引发异常 自动触发异常,,简单 ...
- Exchangeable image file format
Exif - Wikipedia https://en.wikipedia.org/wiki/Exif
- 通俗易懂EJB
摘自:http://blog.csdn.net/jojo52013145/article/details/5783677 1. 我们不禁要问,什么是"服务集群"?什么是" ...