三台机器: Hmaster 172.168.2.3、Hslave1 172.168.2.4、Hslave2 172.168.2.6

JDK:1.8.49
OS:red hat 5.4 64 (由于后期发现有一些由于系统lib库版本太低、python版本太低、java运行环境版本太低等问题,降低了搭建效率,应该用至少是7及以上的OS版本。尤其是无法使用本地库的问题必须得由升级操作系统很多组件来解决,如glib库等)
1、配置hostname /etc/system/network
     域名映射   /etc/hosts  每个机器都有3条映射信息
2、增加用户hadoop,设置三台机器间免密通信
        ssh-keygen -t rsa
        cat id_rsa.pub >> authorized_keys 
        scp id_rsa.pub  hadoop@172.168.2.4:~/.ssh/id_rsa.pub_sl
        scp id_rsa.pub hadoop@172.168.2.6:~/.ssh/id_rsa.pub_sl
        cat id_rsa.pub_sl >> authorized_keys 
        chmod 700 ~/.ssh
        chmod 600 ~/.ssh/authorized_keys
3、升级JDK   
rpm -ivh jdk-8u91-linux-x64.rpm
vi .bash_profile
export JAVA_HOME=/usr/java/jdk1.8.0_91 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-2.6.4/   
4、 配置
三个节点都创建这三个文件夹
 
[hadoop@Hmaster ~]$ mkdir -p hadoop/tmp
[hadoop@Hmaster ~]$ mkdir -p dfs/data

[hadoop@Hmaster ~]$ mkdir -p dfs/name

主要涉及的配置文件有7个:都在/hadoop/etc/hadoop文件夹下,可以用gedit命令对其进行编辑。

~/hadoop/etc/hadoop/hadoop-env.sh  -->修改JAVA_HOME
~/hadoop/etc/hadoop/yarn-env.sh  -->修改JAVA_HOME
~/hadoop/etc/hadoop/slaves  -->>增加slave节点 
~/hadoop/etc/hadoop/core-site.xml  -->>增加hadoop核心配置
~/hadoop/etc/hadoop/hdfs-site.xml  -->>增加hdfs配置信息(namenode、datanode端口和目录位置)
~/hadoop/etc/hadoop/mapred-site.xml -->>增加mapreduce配置(使用yarn框架、jobhistory使用地址以及web地址)

~/hadoop/etc/hadoop/yarn-site.xml -->>增加resource manager

[hadoop@Hmaster ~]$ cd /home/hadoop/hadoop-2.6.4/etc/hadoop/
vi hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_91
vi yarn-env.sh
JAVA_HOME=/usr/java/jdk1.8.0_91
vi core-site.xml
<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Hmaster:9000</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>4096</value>
        </property>
</configuration>
vi hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///home/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///home/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>Hmaster:50090</value>
    </property>
</configuration>
vi mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <final>true</final>
        </property>
 
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>Hmaster:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Hmaster:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Hmaster:19888</value>
    </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>http://Hmaster:9001</value>
        </property>
</configuration>
vi yarn-site.xml   
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>Hmaster</value>
        </property>
 
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>Hmaster:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>Hmaster:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>Hmaster:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>Hmaster:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>Hmaster:8088</value>
    </property>
</configuration>
vi masters
Hmaster       
vi slaves
Hslave1
Hslave2
5、拷贝及配置
scp -r hadoop-2.6.4/ hadoop@172.168.2.4:~/
scp -r hadoop-2.6.4/ hadoop@172.168.2.6:~/
复制Hmaster的.bash_profile的配置到slave
修改/etc/sysconfig/network
6、测试
格式化namenode:hdfs namenode -format  三个节点都执行
启动hdfs:/sbin/start-dfs.sh 
启动yarn:./sbin/start-yarn.sh
上传一个文件,才能正常查看到状态
查看集群状态:
hadoop dfsadmin -report

原创hadoop2.6集群环境搭建的更多相关文章

  1. hadoop2.6集群环境搭建

    版权声明:本文为博主原创文章,未经博主允许不得转载. 一.环境说明 1.机器:一台物理机 和一台虚拟机 2.Linux版本:[Spark@S1PA11 ~]$ cat /etc/issueRed Ha ...

  2. 虚拟机centos6.5 --hadoop2.6集群环境搭建

    一.环境说明 虚拟机:virtualBox 系统:centos6.5,64位 集群:3个节点 master 192.168.12.232 slave01 192.168.12.233 slave02 ...

  3. hadoop2集群环境搭建

    在查询了很多资料以后,发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章. 所以,我想把我知道的分享给大家,方便大家交流. 以下是本文的大纲: 1. 在windows7 下面安装虚拟机2 ...

  4. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  5. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  6. Hadoop+Spark:集群环境搭建

    环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...

  7. Spark 1.6.1分布式集群环境搭建

    一.软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二.Scala 安装 1.master 机器 (1)下载 scala-2.11.8.tgz, ...

  8. hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录 ...

  9. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十三)kafka+spark streaming打包好的程序提交时提示虚拟内存不足(Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G)

    异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...

随机推荐

  1. 【洛谷P1801】黑匣子——优先队列

    题目链接 一道有点意思的题目 我们可以维护两个优先队列:pqmin和pqmax 其中 pqmin 是小根堆, pqmax 是大根堆 每次 add 一个数字,则将数字推入到 pqmin 中 每次 get ...

  2. 动态规划-Maximum Subarray-Maximum Sum Circular Subarray

    2020-02-18 20:57:58 一.Maximum Subarray 经典的动态规划问题. 问题描述: 问题求解: public int maxSubArray(int[] nums) { i ...

  3. 2.Django与Vue的结合

    Django与Vue的结合 在django项目中创建vue项目 首先,进去django项目的项目目录中,执行: vue-init webpack firstvue ## firstvue为前端项目的名 ...

  4. 01.为什么要学习Go语言

    为什么互联网世界需要Go语言 世界上已经有太多太多的编程语言了,为什么又出来一个Go语言? 硬件限制:摩尔定律已然失效 摩尔定律:当价格不变时,集成电路上可容纳的元器件的数目,约每隔18-24个月便会 ...

  5. 证明与计算(7): 有限状态机(Finite State Machine)

    什么是有限状态机(Finite State Machine)? 什么是确定性有限状态机(deterministic finite automaton, DFA )? 什么是非确定性有限状态机(nond ...

  6. Building Applications with Force.com and VisualForce (DEV401) (二一):Visualforce Componets (Tags) Library Part 1

    Dev401-022:Visualforce Pages: Visualforce Componets (Tags) Library Part 1 Module Objectives1.List ke ...

  7. 2020年最新版Web前端学习路线图-前端小白入门必读-pink老师推荐

    Hello,大家好,相信很多学习前端的小伙伴,会有很多的疑惑: 我要学习那些技术? 我要到哪里去学习这些技术呢? 学习这些技术的目的对就业有什么帮助呢? 我学到什么程度可以胜任工作? ... 这里,p ...

  8. 《java编程思想》 初始化与清理

    1.初始化与清理的重要性: 1.许多C程序的错误都源于程序员忘记初始化变量,特别是使用程序库时,如果不知道如何初始化库的构件更容易出错 2.当使用完一个元素时,这个元素就不会有什么影响了,所以很容易就 ...

  9. JS 剑指Offer(三) 替换字符串中的空格

    请实现一个函数,把字符串 s 中的每个空格替换成"%20". 实现这个函数的方法很简单,在JS中可以直接应用正则表达式,代码如下 直接将全局中的space换成%20,一行代码搞定 ...

  10. while与until

    一.格式: while  条件测试 :do 循环体 done 二.条件测试 条件测试是指满足条件则会一直执行下去. 比如: let i =0 while i < 100;do echo $i i ...