一、环境

192.168.1.130     master

192.168.1.131     slave1

192.168.1.132     slave2

所有主机:

1、关闭防火墙、selinux

2、配置hosts文件

3、yum -y install vim wget tree ntpdate lrzsz openssh-clients

4、配置文件描述符等,同步时间;

5、mkdir -p /opt/app             #hadoop安装目录

6、mkdir -p /opt/{datas,modules,softwares,tools}       #存放其他程序或文件的目录

二、节点配置规划

服务:

服务 master slave1 slave2
HDFS namenode   secondarynamenode
HDFS datanode datanode datanode
yarn   resourcemanager  
yarn nodemanager nodemanager nodemanager
mapreduce jobhistoryserver    

配置文件:

HDFS:
hadoop-env.sh -->JDK
core-site.xml -->namenode
hdfs-site.xml -->secondarynamenode
slaves -->datanode YARN:
yarn-env.sh -->JDK
yarn-site.xml -->resourcemanager
slaves -->nodemanager MapReduce:
mapred-env.sh -->JDK
mapred-site.xml -->Jobhistoryserver

三、安装

1、安装JDK(所有节点)

#先卸载系统自带的JDK

[root@master softwares]# pwd    #softwares目录存放安装包
/opt/softwares [root@master softwares]# ls
hadoop-2.5.0.tar.gz jdk-7u80-linux-x64.tar.gz [root@master softwares]# tar zxf jdk-7u80-linux-x64.tar.gz -C /opt/moduls/ #配置环境变量
vim /etc/profile
#JDK
export JAVA_HOME=/opt/modules/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin #source
source /etc/profile java -version

2、安装hadoop

(1)hdfs

#解压
[root@master softwares]# tar zxf hadoop-2.5.0.tar.gz -C /opt/app/  #现在只解压到master,后面会分发 #hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #core-site.xml
<configuration> <property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/app/hadoop-2.5.0/data/tmp</value>
</property> <property>
<name>fs.trash.interval</name>
<value>10080</value>
</property> </configuration> #创建 /opt/app/hadoop-2.5.0/data/tmp
[root@master ~]# mkdir -p /opt/app/hadoop-2.5.0/data/tmp #hdfs-site.xml
<configuration> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:50090</value>
</property> </configuration> #slaves (datanode和nodemanager都在是这里面配置的)
master
slave1
slave2

(2)yarn

#yarn-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #yarn-site.xml
<configuration> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property> <property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property> <property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>4</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property> </configuration> #slaves
master
slave1
slave2

(3)mapreduce

#mapred-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_80 #mapred-site.xml
<configuration> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property> </configuration>

四、配置ssh免密登陆

此步骤不难,基本可以略过;

cd /root/.ssh/
ssh-keygen -t rsa
cat id_rsa.pub >>authorized_keys

五、分发

分发HADOOP安装包至各个机器节点;

#master上
[root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave1:/opt/app/ [root@master ~]# scp -r /opt/app/hadoop-2.5.0 root@slave2:/opt/app/ #slave1
[root@slave1 ~]# ls /opt/app/
hadoop-2.5.0 #slave2
[root@slave2 ~]# ls /opt/app/
hadoop-2.5.0

3.1-3.5 分布式部署hadoop2.x的准备和配置的更多相关文章

  1. hadoop2.6分布式部署时 livenodes等于1的原因

    1.问题描述 在进行hadoop2.x版本的hdfs分布式部署时,遇到了一个奇怪的问题: 使用start-dfs.sh命令启动dfs之后,所有的datanode节点上均能看到datanode进程,然而 ...

  2. hadoop2.4完全分布式部署

    hadoop2.4完全分布式部署 感谢:http://blog.csdn.net/licongcong_0224/article/details/12972889 集群组成: 两台red hat en ...

  3. Hadoop2 伪分布式部署

    一.简单介绍 二.安装部署 三.执行hadoop样例并測试部署环境 四.注意的地方 一.简单介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop的框架最核心的设计就是: ...

  4. Hadoop 2.6.0分布式部署參考手冊

    Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 ...

  5. Apache Hadoop 2.9.2 完全分布式部署

    Apache Hadoop 2.9.2 完全分布式部署(HDFS) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.环境准备 1>.操作平台 [root@node101.y ...

  6. Hadoop生态圈-zookeeper完全分布式部署

    Hadoop生态圈-zookeeper完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客部署是建立在Hadoop高可用基础之上的,关于Hadoop高可用部署请参 ...

  7. Hadoop 完全分布式部署

    完全分布式部署Hadoop 分析: 1)准备3台客户机(关闭防火墙.静态ip.主机名称) 2)安装jdk 3)配置环境变量 4)安装hadoop 5)配置环境变量 6)安装ssh 7)集群时间同步 7 ...

  8. Hadoop生态圈-flume日志收集工具完全分布式部署

    Hadoop生态圈-flume日志收集工具完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   目前为止,Hadoop的一个主流应用就是对于大规模web日志的分析和处理 ...

  9. Hadoop生态圈-phoenix完全分布式部署以及常用命令介绍

    Hadoop生态圈-phoenix完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. phoenix只是一个插件,我们可以用hive给hbase套上一个JDBC壳,但是你 ...

随机推荐

  1. XML Publisher Template Type - Microsoft Excel Patch

    XML Publisher Template Type - Microsoft Excel Patch Oracle XML Publisher > Templates > Create ...

  2. python 工具ScreenShoot

    环境:windows python3 # -*- coding: UTF-8 -*- import time import os, win32gui, win32ui, win32con, win32 ...

  3. 配置 yum 源相关

    1. 修改yum配置 http://www.cnblogs.com/shuaixf/archive/2011/11/30/2268496.html 2. centos安装 epel 源 https:/ ...

  4. java基础知识汇总6(html篇)

    五.html // 定义文档类型. < html> 定义 HTML 文档. < body> 定义文档的主体. < h1> to < h6> 定义 HTM ...

  5. vim note (1)

    'vim' go into the vim mode 'i' 'a' 's'    is means insert mode 'v' is means visual mode 'esc' is mea ...

  6. 初学c的一点体会

    自学C语言的一些体会1 从最初什么都不知道变成知道一点,一转眼就过去了三个多月,最开始只是刚进大学,感觉太闲了不太好就决定学点什么,于是就到图书馆逛了一圈找找看有什么有趣的书可以看看,刚好就在书架上看 ...

  7. php利用cookie防止重复提交解决办法

    原理:如果数据通过了上边的两次验证,说明数据是合法有效的数据,这时候我们把提交的数据串接为一个字符串,并用MD5加密后得到一个MD5的值. 接着我们把这个值通过Cookie放进客户端,当用户下一次提交 ...

  8. sanic官方文档解析之Exception和Middleware,Listeners

    1,异常 异常是从处理请求内部抛出来的,并且通过Sanic自动的被处理异常,,异常用第一个参数携带异常信息,还可以接受在HTTP响应中要传递回的状态代码.引发异常 1.1引发异常 自动触发异常,,简单 ...

  9. Exchangeable image file format

    Exif - Wikipedia https://en.wikipedia.org/wiki/Exif

  10. 通俗易懂EJB

    摘自:http://blog.csdn.net/jojo52013145/article/details/5783677 1. 我们不禁要问,什么是"服务集群"?什么是" ...