工作中一般使用的都是zookeeper和Hbase的分布式集群. more /etc/profile cd /usr/local zookeeper-3.4.5.tar.gz zookeeper在安装部署的时候,节点数量必须是不少于三个的奇数个. =================================== 伪分布式搭建(3个节点): 伪分布式集群,就是在一台pc中,启动多个zookeeper的实例,完全分布式是指每台pc,启动一个zookeeper实例. 1.1 解压缩zookeep…

实际上,在真实环境中你需要使用完全分布配置完整测试HBase.在一个分布式配置中,集群有多个节点,每个节点运行一个或多个HBase守护进程.其中包括主Master和备份Master实例,多个Zookeeper节点,多个RegionServer节点. 这个进阶教程将在你的集群上另加两个节点.架构如下: 表1. 分布式集群示例架构 Node Name Master ZooKeeper RegionServer node-a.example.com 是 是 否 node-b.example.com 备…

1.HBase简介 HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示: HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通过web界面对HBase进行管理和查看当前运行的一些状态,非常轻巧. 2.为什么采用HBase? HBas…

1.编辑 conf/hbase-env.sh来告知HBase java的安装路径.在这个文件里你还可以设置HBase的运行环境,诸如 heapsize和其他 JVM有关的选项, 还有Log文件地址,等等. 设置 JAVA_HOME指向 java安装的路径. 2. 运 行HBase需要设置hbase.rootdir 属性.该属性是指HBase在HDFS中使用的目录的位置.例如,要想 /hbase 目录,让 namenode 监听locahost的9000端口,只有一份数据拷贝(HDFS默认是3份拷…

分布式的hbase依赖于Zookeeper集群所有正常工作节点都必须能够访问zookeeper:用户可以通过启动和关闭脚本就可以把zookeeper当做hbase的一部分来启动和关闭进程:当然,用户也可以不依赖于hbase管理zookeeper集群,只需要为hbase支出需要使用的集群即可#配置zookeeper作为hbase的一部分启动 export HBASE_MANAGES_ZK=true #hbase完全分布式配置#配置数据存储目录和启用完全分布式设置#vim vim /usr/hbas…

1把hbase-0.94.2-security.tar.gz复制到/usr/local 2 解压缩.重命名.设置环境变量 cd /usr/local tar -zxvf hbase--security.tar.gz mv hbase--security hbase 修改/etc/profile文件. vi /etc/profile 增加 export HBASE_HOME=/home/hbase 修改 export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/b…

安装环境: OS: Oracle linux 5.6 JDK: jdk1.6.0_18 Hadoop: hadoop-0.20.2 Hbase: hbase-0.90.5 安装准备: 1. Jdk环境已安装:版本为1.6以上 2. hadoop环境已安装:完全分布模式安装如下 http://blog.csdn.net/lichangzai/article/details/8206834 3. hbase版本选择 Hbase 版本必需与 Hadoop版本匹配,否则会安装失败或不能正常使用.关于两者…

hbase1.2.4 伪分布式安装   注意:在安装hbase或者hadoop的时候,要注意hadoop和hbase的对应关系.如果版本不对应可能造成系统的不稳定和一些其他的问题.在hbase的lib目录下可以看到hadoop对应jar文件,默认情况下hbase下lib的jar文件对应hadoop的相对稳定的版本.如果需要使用其他的hadoop版本,需要将hbase  lib下的hadoopjar包,替换掉需要使用的hadoop版本   下载:http://archive.apache.org/…

1.Zookeeper伪分布的部署(3个节点) 所谓的“伪分布式集群”就是在一台服务器中,启动多个Zookeeper实例.“完全分布式集群”是每台服务器,启动一个Zookeeper实例. 1.1.解压缩zookeeper-3.4.5.tar.gz 1.2.执行命令 cp conf/zoo_sample.cfg conf/zoo1.cfg 1.3.修改zoo1.cfg dataDir=..../zookeeper/zoo1/data clientPort=2181 #增加 server.1=had…

hbase region split操作的一些细节,具体split步骤很多文档都有说明,本文主要关注regionserver如何选取split point 首先推荐web ui查看hbase region分布的一个开源工具hannibal,建议用daemontool管理hannibal意外退出,自动重启,之前博文写了博文介绍如何使用daemontool管理 假设有一张hbase的table如下表所示,有一个region的大小比较大,可以对这个region进行手动split操作 HBase的物理存…