1.概要 1.1HBase的使用场景  大数据量 (100s TB级数据) 且有快速随机访问的需求.  例如淘宝的交易历史记录.数据量巨大无容置疑,面向普通用户的请求必然要即时响应.  容量的优雅扩展.  大数据的驱使,动态扩展系统容量的必须的.例如:webPage DB.  业务场景简单,不需要关系数据库中很多特性(例如交叉列.交叉表,事务,连接等等).  优化方面:合理设计rowkey.因为hbase的查询用rowkey是最高效的,也几乎的唯一生产环境可行的方式.所以把你的查询请…

1.Zookeeper的下载与解压     通过后面的链接下载Zookeeper:    Zookeeper下载在此我们下载zookeeper-3.4.5下载后解压至安装目录下,本文我们解压到目录:/opt/zookeeper-3.4.8 $:tar -xzvf zookeeper-3.4.8.tar.gz -C /opt/ 如下图所示:   2.zookeeper的环境变量的配置: 为了今后操作方便,我们需要对Zookeeper的环境变量进行配置,方法如下:在/etc/profile文件中加入…

本文讲述如何安装和部署ZooKeeper. 一.系统要求 ZooKeeper可以运行在多种系统平台上面,表1展示了zk支持的系统平台,以及在该平台上是否支持开发环境或者生产环境. 表1:ZooKeeper支持的运行平台 系统 开发环境 生产环境 Linux 支持 支持 Solaris 支持 支持 FreeBSD 支持 支持 Windows 支持 不支持 MacOS 支持 不支持 ZooKeeper是用Java编写的,运行在Java环境上,因此,在部署zk的机器上需要安装Java运行环境.为了正常…

Zookeeper的安装部署 2.1 Zookeeper的安装 Zookeeper安装前需要安装好 JDK.配置好环境变量. 下载:zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/app/ 解压后进入到 zookeeper目录 找到conf目录, 复制配置文件并编辑 cp zoo_sample.cfg zoo.cfg vi zoo.cfg 在zoo.cfg中添加如下内容 dataD…

第一部分:单机模式 1)下载地址:http://www.pirbot.com/mirrors/apache/zookeeper/,建议下载stable版本 2)解压缩 将下载好的压缩包解压到指定目录,比如:D:\software\apache-zookeeper-3.5.5-bin 3)环境变量配置 新增:ZOOKEEPER_HOME,变量值为zookeeper的安装目录,按照上图解压的话就是:D:\software\apache-zookeeper-3.5.5-bin path新增路径:$ZO…

说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1) 1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图 2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后…

1.Zookeeper的下载与解压     通过后面的链接下载Zookeeper:    Zookeeper下载在此我们下载zookeeper-3.4.5下载后解压至安装目录下,本文我们解压到目录:/opt/zookeeper-3.4.8 $:.tar.gz -C /opt/ 如下图所示:   2.zookeeper的环境变量的配置: 为了今后操作方便,我们需要对Zookeeper的环境变量进行配置,方法如下:在/etc/profile文件中加入如下的内容: #set zookeeper env…

参考: https://testerhome.com/topics/11361 http://blog.csdn.net/lihao21/article/details/51778255 https://jingyan.baidu.com/article/6181c3e094266d152ef153da.html…

大数据集群为了保证故障转移,一般通过zookeeper来整体协调管理,当节点数大于等于6个时推荐使用,接下来描述一下Hbase集群部署在zookeeper上的过程: 安装Hbase之前首先系统应该做通用的集群环境准备工作,这些是必须的: 1.集群中主机名必须正确配置,最好有实际意义:并且主机名都在hosts文件中对应主机IP,一一对应,不可缺少 这里集群有6台服务器:bigdata1,bigdata2,bigdata3,bigdata4,bigdata5,bigdata6 这里是3台主机,分别对…

HBase安装和部署 使用的HBase版本是1.2.4 1.安装步骤(默认hdfs已安装好) # 下载并解压安装包 cd tools/ tar -zxf hbase-1.2.4-bin.tar.gz   # 重命名为hbase mv hbase-1.2.4 hbase # 将hadoop目录下的hdfs-site.xml 和 core-stie.xml拷贝到 hbase下的conf 目录中 cd /home/work/tools/hbase/conf cp /home/work/tools/ha…