版本要求

java

版本:1.8.*(1.8.0_60)

下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

zookeeper

版本:3.4.*(zookeeper-3.4.8)

下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.8/

hadoop

版本:2.7.*(hadoop-2.7.3)

下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.3/

hbase

版本:1.2.*(hbase-1.2.4)

下载地址:http://archive.apache.org/dist/hbase/1.2.4/

hadoop安装

前置条件

免密登录

见链接http://www.cnblogs.com/molyeo/p/7007917.html

java安装

见链接http://www.cnblogs.com/molyeo/p/7007917.html

zookeeper安装

见链接http://www.cnblogs.com/molyeo/p/7048867.html

下载地址

http://apache.fayea.com/hadoop/common/hadoop-2.7.3/

解压安装

cd ~
tar -zxvf hadoop-2.7.3.tar.gz
mv  hadoop-2.7.3  hadoop  

配置环境变量

vi ~/.bash_profile
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export ZOOKEEPER_HOME=/wls/oracle/zookeeper
export HADOOP_HOME=/wls/oracle/hadoop
export HBASE_HOME=/wls/oracle/hbase
export SPARK_HOME=/wls/oracle/spark   

export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar   

export PATH CLASSPATH JAVA_HOME  SCALA_HOME  ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME   

hadoop配置更改

hadoop相关的配置都在$HADOOP_HOME/etc/hadoop目录下,hadoop集群搭建主要涉及如下配置文件的变更

hadoop-env.sh

hadoop-env.sh文件只需要改动JAVA_HOME为具体的路径即可

 export JAVA_HOME=/wls/oracle/jdk

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://SZB-L0045546:9000</value>
    </property>
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/wls/oracle/bigdata/hadoop/tmp</value>
    </property>

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181</value>
    </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>cluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.cluster</name>
        <value>SZB-L0045546,SZB-L0045551</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster.SZB-L0045546</name>
        <value>SZB-L0045546:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.cluster.SZB-L0045546</name>
        <value>SZB-L0045546:50070</value>
    </property> 

    <property>
        <name>dfs.namenode.rpc-address.cluster.SZB-L0045551</name>
        <value>SZB-L0045551:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.cluster.SZB-L0045551</name>
        <value>SZB-L0045551:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://SZB-L0045552:8485;SZB-L0047815:8485;SZB-L0047816:8485/cluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/wls/oracle/bigdata/hadoop/journal</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.nsl</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
        <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
</configuration>

slaves

SZB-L0045552
SZB-L0047815
SZB-L0047816

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>SZB-L0045546</value>
    </property>
        <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

运行命令

启动journalnode

启动journalnode

cd  /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/hadoop-daemons.sh start journalnode

格式化hadoop

cd /wls/oracle/hadoop/bin
hadoop namenode -format

格式化zookeeper

cd /wls/oracle/hadoop/bin
hdfs zkfc -formatZK

cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/start-dfs.sh

cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/start-yarn.sh

hadoop集群停止

cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/stop-yarn.sh

cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/stop-dfs.sh

其他命令

/wls/oracle/hadoop/sbin/hadoop-daemon.sh start namenode
/wls/oracle/hadoop/sbin/hadoop-daemon.sh stop namenode
/wls/oracle/hadoop/bin/hdfs namenode -bootstrapStandby
/wls/oracle/hadoop/sbin/hadoop-daemon.sh start namenode
/wls/oracle/hadoop/sbin/hadoop-daemon.sh start datanode
/wls/oracle/hadoop/sbin/hadoop-daemon.sh --script hdfs start datanode

界面查看

hadoop
http://SZB-L0045546:50070

yarn
http://SZB-L0045546:8088/cluster

hdfs文件系统

hdfs dfs -ls hdfs://

mapreduce测试

hadoop jar /wls/oracle/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 2 5

重复启停异常后,可以尝试删除

rm -f /wls/oracle/bigdata/hadoop/tmp/dfs/data/current/VERSION

hbase安装

解压安装

tar -zxvf hbase-1.2.4-bin.tar.gz
mv hbase-1.2.4-bin hbase

环境变量

vi ~/.bash_profile
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export ZOOKEEPER_HOME=/wls/oracle/zookeeper
export HADOOP_HOME=/wls/oracle/hadoop
export HBASE_HOME=/wls/oracle/hbase
export SPARK_HOME=/wls/oracle/spark   

export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar   

export PATH CLASSPATH JAVA_HOME  SCALA_HOME  ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME 

配置

hbase需要修改的配置主要包含如下文件

hbase-env.sh
hbase-site.xml
regionservers

hbase-env.sh

hbase-env.sh文件增加JAVA_HOME的配置即可

export JAVA_HOME=/wls/oracle/jdk

hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hbase.master</name>
        <value>10.20.112.59:60000</value>
    </property>
    <property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://SZB-L0045546:9000/user/oracle/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>SZB-L0045546,SZB-L0045551,SZB-L0045552</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/hbase</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

regionservers

SZB-L0045546
SZB-L0045551
SZB-L0045552
SZB-L0047815
SZB-L0047816

运维命令

启动集群
/wls/oracle/hbase/bin/start_hbase.sh
停止集群
/wls/oracle/hbase/bin/stop_hbase.sh

大数据平台搭建-hadoop/hbase集群的搭建的更多相关文章

  1. 大数据系列之Hadoop分布式集群部署

    本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...

  2. Hadoop,HBase集群环境搭建的问题集锦(四)

    21.Schema.xml和solrconfig.xml配置文件里參数说明: 參考资料:http://www.hipony.com/post-610.html 22.执行时报错: 23., /comm ...

  3. 大数据 时间同步问题 解决hbase集群节点HRegionServer启动后自动关闭

    1)在hbase-site.xml文件中 修改增加 ,将时间改大点<property><name>hbase.master.maxclockskew</name>& ...

  4. Hadoop,HBase集群环境搭建的问题集锦(二)

    10.艾玛, Datanode也启动不了了? 找到log: Caused by: java.net.UnknownHostException: Invalid host name: local hos ...

  5. Hadoop+HBase 集群搭建

    Hadoop+HBase 集群搭建 1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1. 1.1 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP ...

  6. hadoop分布式集群的搭建

    电脑如果是8G内存或者以下建议搭建3节点集群,如果是搭建5节点集群就要增加内存条了.当然实际开发中不会用虚拟机做,一些小公司刚刚起步的时候会采用云服务,因为开始数据量不大. 但随着数据量的增大才会考虑 ...

  7. 使用docker搭建hadoop分布式集群

    使用docker搭建部署hadoop分布式集群 在网上找了非常长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,仅仅能自己写一个了. 一:环境准备: 1:首先要有一个Cento ...

  8. HBase集群的搭建

    HBase集群的搭建(在<HBase伪分布式安装>基础上搭建) 1 集群结构,主节点(hmaster)是hadoop0,从节点(region server)是hadoop1和hadoop2 ...

  9. HBase集群环境搭建v2.0

    本文档环境基于ubuntu16.04版本,如果最终不使用SuperMap iServer 10i ,可以不配置geomesa-hbase_2.11-2.2.0-bin.tar.gz 相比1.0版本,升 ...

随机推荐

  1. 四.GC —三分钟认识JAVA回收机制(Java Garbage Collection)

    这里以jdk1.8做讲解.Jdk1.8的分代去掉了永久代,只分为新生代(有的也译为年轻代)和年老代. 名词解释: 系统吞吐量:用于处理应用程序处理事务的线程数与用于GC的线程数的比. pause ti ...

  2. JSP制作简单登陆

    JSP制作简单登陆界面 运行环境 eclipse+tomcat+MySQL 不知道的可以参考Jsp运行环境--Tomcat 项目列表 这里我先把jsp文件先放在Web-INF外面访问 需要建立的几个文 ...

  3. spring boot 整合mybatis + swagger2

    之前使用springMVC+spring+mybatis,总是被一些繁琐的xml配置,有时候如果配置出错,还要检查各种xml配置,偶然接触到了spring boot 后发现搭建一个web项目真的是1分 ...

  4. word2vec原理(三) 基于Negative Sampling的模型

    word2vec原理(一) CBOW与Skip-Gram模型基础 word2vec原理(二) 基于Hierarchical Softmax的模型 word2vec原理(三) 基于Negative Sa ...

  5. Uva 11988 Broken Keyboard STL+链表

    两种方法,直接上代码 STL标准模板库 #include <iostream> #include <list> #include <algorithm> #incl ...

  6. discuz相关总结

    1.dz的下载安装 进入discuz官方网站下载discuz安装包:拷贝出其中的upload目录,重命名为discuz,将discuz目录上传至linux公网服务器: 配置web服务器,nginx或者 ...

  7. Kaggle竞赛 —— 泰坦尼克号(Titanic)

    完整代码见kaggle kernel 或 NbViewer 比赛页面:https://www.kaggle.com/c/titanic Titanic大概是kaggle上最受欢迎的项目了,有7000多 ...

  8. ios UIButton改背景

    以下orangeButton.png与orangeButtonHighlight.png分别用于按钮平常状态和被点击时的状态: UIImage *buttonImage = [[UIImage ima ...

  9. css的一些问题

    background-size ie8不支持怎么解决? background-size这个属性是css3,新增的属性,现在很多浏览器已经支持了,但是IE系列的浏览器却没有支持,比如IE8,下面介绍下如 ...

  10. Java入门——(3)面对对象(下)

    关键词:  类的继承.final关键字.多态.接口.异常.包.访问控制 一.类的继承       1.类的继承是指在一个现有类的基础上去构建一个新的类,构建出来的新类被称作子类,现有类被称作父类,子类 ...