大数据平台搭建-hadoop/hbase集群的搭建
版本要求
java
版本:1.8.*(1.8.0_60)
下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
zookeeper
版本:3.4.*(zookeeper-3.4.8)
下载地址:http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.8/
hadoop
版本:2.7.*(hadoop-2.7.3)
下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.3/
hbase
版本:1.2.*(hbase-1.2.4)
下载地址:http://archive.apache.org/dist/hbase/1.2.4/
hadoop安装
前置条件
免密登录
见链接http://www.cnblogs.com/molyeo/p/7007917.html
java安装
见链接http://www.cnblogs.com/molyeo/p/7007917.html
zookeeper安装
见链接http://www.cnblogs.com/molyeo/p/7048867.html
下载地址
http://apache.fayea.com/hadoop/common/hadoop-2.7.3/
解压安装
cd ~
tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop
配置环境变量
vi ~/.bash_profile
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export ZOOKEEPER_HOME=/wls/oracle/zookeeper
export HADOOP_HOME=/wls/oracle/hadoop
export HBASE_HOME=/wls/oracle/hbase
export SPARK_HOME=/wls/oracle/spark
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH CLASSPATH JAVA_HOME SCALA_HOME ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME
hadoop配置更改
hadoop相关的配置都在$HADOOP_HOME/etc/hadoop目录下,hadoop集群搭建主要涉及如下配置文件的变更
hadoop-env.sh
hadoop-env.sh文件只需要改动JAVA_HOME为具体的路径即可
export JAVA_HOME=/wls/oracle/jdk
core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://SZB-L0045546:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/wls/oracle/bigdata/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181</value>
</property>
</configuration>
hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>SZB-L0045546,SZB-L0045551</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.SZB-L0045546</name>
<value>SZB-L0045546:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.SZB-L0045546</name>
<value>SZB-L0045546:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.SZB-L0045551</name>
<value>SZB-L0045551:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.SZB-L0045551</name>
<value>SZB-L0045551:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://SZB-L0045552:8485;SZB-L0047815:8485;SZB-L0047816:8485/cluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/wls/oracle/bigdata/hadoop/journal</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.nsl</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
</configuration>
slaves
SZB-L0045552
SZB-L0047815
SZB-L0047816
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>SZB-L0045546</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
运行命令
启动journalnode
启动journalnode
cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/hadoop-daemons.sh start journalnode
格式化hadoop
cd /wls/oracle/hadoop/bin
hadoop namenode -format
格式化zookeeper
cd /wls/oracle/hadoop/bin
hdfs zkfc -formatZK
cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/start-dfs.sh
cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/start-yarn.sh
hadoop集群停止
cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/stop-yarn.sh
cd /wls/oracle/hadoop/sbin
/wls/oracle/hadoop/sbin/stop-dfs.sh
其他命令
/wls/oracle/hadoop/sbin/hadoop-daemon.sh start namenode
/wls/oracle/hadoop/sbin/hadoop-daemon.sh stop namenode
/wls/oracle/hadoop/bin/hdfs namenode -bootstrapStandby
/wls/oracle/hadoop/sbin/hadoop-daemon.sh start namenode
/wls/oracle/hadoop/sbin/hadoop-daemon.sh start datanode
/wls/oracle/hadoop/sbin/hadoop-daemon.sh --script hdfs start datanode
界面查看
hadoop
http://SZB-L0045546:50070
yarn
http://SZB-L0045546:8088/cluster
hdfs文件系统
hdfs dfs -ls hdfs://
mapreduce测试
hadoop jar /wls/oracle/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 2 5
重复启停异常后,可以尝试删除
rm -f /wls/oracle/bigdata/hadoop/tmp/dfs/data/current/VERSION
hbase安装
解压安装
tar -zxvf hbase-1.2.4-bin.tar.gz
mv hbase-1.2.4-bin hbase
环境变量
vi ~/.bash_profile
export JAVA_HOME=/wls/oracle/jdk
export SCALA_HOME=/wls/oracle/scala
export ZOOKEEPER_HOME=/wls/oracle/zookeeper
export HADOOP_HOME=/wls/oracle/hadoop
export HBASE_HOME=/wls/oracle/hbase
export SPARK_HOME=/wls/oracle/spark
export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH CLASSPATH JAVA_HOME SCALA_HOME ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME
配置
hbase需要修改的配置主要包含如下文件
hbase-env.sh
hbase-site.xml
regionservers
hbase-env.sh
hbase-env.sh文件增加JAVA_HOME的配置即可
export JAVA_HOME=/wls/oracle/jdk
hbase-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hbase.master</name>
<value>10.20.112.59:60000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://SZB-L0045546:9000/user/oracle/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>SZB-L0045546,SZB-L0045551,SZB-L0045552</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/hbase</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
regionservers
SZB-L0045546
SZB-L0045551
SZB-L0045552
SZB-L0047815
SZB-L0047816
运维命令
启动集群
/wls/oracle/hbase/bin/start_hbase.sh
停止集群
/wls/oracle/hbase/bin/stop_hbase.sh
大数据平台搭建-hadoop/hbase集群的搭建的更多相关文章
- 大数据系列之Hadoop分布式集群部署
本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...
- Hadoop,HBase集群环境搭建的问题集锦(四)
21.Schema.xml和solrconfig.xml配置文件里參数说明: 參考资料:http://www.hipony.com/post-610.html 22.执行时报错: 23., /comm ...
- 大数据 时间同步问题 解决hbase集群节点HRegionServer启动后自动关闭
1)在hbase-site.xml文件中 修改增加 ,将时间改大点<property><name>hbase.master.maxclockskew</name>& ...
- Hadoop,HBase集群环境搭建的问题集锦(二)
10.艾玛, Datanode也启动不了了? 找到log: Caused by: java.net.UnknownHostException: Invalid host name: local hos ...
- Hadoop+HBase 集群搭建
Hadoop+HBase 集群搭建 1. 环境准备 说明:本次集群搭建使用系统版本Centos 7.5 ,软件版本 V3.1.1. 1.1 配置说明 本次集群搭建共三台机器,具体说明下: 主机名 IP ...
- hadoop分布式集群的搭建
电脑如果是8G内存或者以下建议搭建3节点集群,如果是搭建5节点集群就要增加内存条了.当然实际开发中不会用虚拟机做,一些小公司刚刚起步的时候会采用云服务,因为开始数据量不大. 但随着数据量的增大才会考虑 ...
- 使用docker搭建hadoop分布式集群
使用docker搭建部署hadoop分布式集群 在网上找了非常长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,仅仅能自己写一个了. 一:环境准备: 1:首先要有一个Cento ...
- HBase集群的搭建
HBase集群的搭建(在<HBase伪分布式安装>基础上搭建) 1 集群结构,主节点(hmaster)是hadoop0,从节点(region server)是hadoop1和hadoop2 ...
- HBase集群环境搭建v2.0
本文档环境基于ubuntu16.04版本,如果最终不使用SuperMap iServer 10i ,可以不配置geomesa-hbase_2.11-2.2.0-bin.tar.gz 相比1.0版本,升 ...
随机推荐
- 四.GC —三分钟认识JAVA回收机制(Java Garbage Collection)
这里以jdk1.8做讲解.Jdk1.8的分代去掉了永久代,只分为新生代(有的也译为年轻代)和年老代. 名词解释: 系统吞吐量:用于处理应用程序处理事务的线程数与用于GC的线程数的比. pause ti ...
- JSP制作简单登陆
JSP制作简单登陆界面 运行环境 eclipse+tomcat+MySQL 不知道的可以参考Jsp运行环境--Tomcat 项目列表 这里我先把jsp文件先放在Web-INF外面访问 需要建立的几个文 ...
- spring boot 整合mybatis + swagger2
之前使用springMVC+spring+mybatis,总是被一些繁琐的xml配置,有时候如果配置出错,还要检查各种xml配置,偶然接触到了spring boot 后发现搭建一个web项目真的是1分 ...
- word2vec原理(三) 基于Negative Sampling的模型
word2vec原理(一) CBOW与Skip-Gram模型基础 word2vec原理(二) 基于Hierarchical Softmax的模型 word2vec原理(三) 基于Negative Sa ...
- Uva 11988 Broken Keyboard STL+链表
两种方法,直接上代码 STL标准模板库 #include <iostream> #include <list> #include <algorithm> #incl ...
- discuz相关总结
1.dz的下载安装 进入discuz官方网站下载discuz安装包:拷贝出其中的upload目录,重命名为discuz,将discuz目录上传至linux公网服务器: 配置web服务器,nginx或者 ...
- Kaggle竞赛 —— 泰坦尼克号(Titanic)
完整代码见kaggle kernel 或 NbViewer 比赛页面:https://www.kaggle.com/c/titanic Titanic大概是kaggle上最受欢迎的项目了,有7000多 ...
- ios UIButton改背景
以下orangeButton.png与orangeButtonHighlight.png分别用于按钮平常状态和被点击时的状态: UIImage *buttonImage = [[UIImage ima ...
- css的一些问题
background-size ie8不支持怎么解决? background-size这个属性是css3,新增的属性,现在很多浏览器已经支持了,但是IE系列的浏览器却没有支持,比如IE8,下面介绍下如 ...
- Java入门——(3)面对对象(下)
关键词: 类的继承.final关键字.多态.接口.异常.包.访问控制 一.类的继承 1.类的继承是指在一个现有类的基础上去构建一个新的类,构建出来的新类被称作子类,现有类被称作父类,子类 ...