hadoop+zookeeper+hbase伪分布式安装
基本安装步骤##
安装包下载###
从大数据组件下载地址下载以下组件安装包
- hadoop-2.6.0-cdh5.6.0.tar.gz
- hbase-1.0.0-cdh5.6.0.tar.gz
- zookeeper-3.4.5-cdh5.6.0.tar.gz
从java下载地址下载以下组件安装包 - jdk-8u144-linux-x64.tar.gz
java环境###
- 解压
tar zxvf jdk-8u144-linux-x64.tar.gz
- 配置环境变量
vim /etc/profile
export JAVA_HOME=/opt/cdh/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=.:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
2. `source /etc/profile`
SSH免密登陆###
hadoop安装###
- 解压
tar zxvf hadoop-2.6.0-cdh5.6.0.tar.gz
- 修改配置文件,位于目录hadoop-2.6.0-cdh5.6.0/etc/hadoop/下
- 修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/cdh/hadoop/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/cdh/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntu:9000</value>
</property>
</configuration>
- 修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>ubuntu:9001</value>
</property>
</configuration>
- 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/opt/cdh/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
- 修改hadoop-env.sh
export JAVA_HOME=/opt/cdh/jdk1.8.0_144
- 格式化namenode
hadoop-2.6.0-cdh5.6.0/bin/hadoop namenode -format
- 启动hdfs
hadoop-2.6.0-cdh5.6.0/sbin/start-all.sh
- 验证
jps
- 登录网址: http://ip:50070
zookeeper安装###
- 解压
tar zxvf zookeeper-3.4.5-cdh5.6.0.tar.gz
- 修改配置文件,位于目录zookeeper-3.4.5-cdh5.6.0/conf/下
- zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/cdh/zookeeper
clientPort=2181
- 启动zookeeper
zookeeper-3.4.5-cdh5.6.0/bin/zkServer.sh start
hbase安装###
- 解压
tar zxvf hbase-1.0.0-cdh5.6.0.tar.gz
- 修改配置文件,位于目录hbase-1.0.0-cdh5.6.0/conf/下
- hbase-env.sh
export JAVA_HOME=/opt/cdh/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
- regionservers
ubuntu
- hbase-site.xml
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ubuntu:9000/hbase</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://ubuntu:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ubuntu:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/cdh/zookeeper</value>
</property>
</configuration>
- 启动hbase
hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh
- 验证
jps
hbase-1.0.0-cdh5.6.0/bin/hbase shell
- 登陆网址: http://ip:60010
IDEA连接hbase登陆###
- 新建maven项目
- 修改pom.xml文件
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
</repositories>
<dependencies>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase</artifactId>
<version>1.0.0-cdh5.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.0.0-cdh5.6.0</version>
</dependency>
</dependencies>
- 按照百度搜索结果编写demo程序并执行
ERROR解决###
- 先确认以下地址一致
linux下的/etc/hosts里的ip与windows下C:\Windows\System32\drivers\etc\hosts里的ip映射一致 - 禁用Hbase自带的zookeeper
- 修改hbase-env.sh里的
export HBASE_MANAGES_ZK=false
- 修改hbase-env.sh里的
hadoop+zookeeper+hbase伪分布式安装的更多相关文章
- HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系
HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,H ...
- Hbase伪分布式安装
前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内 ...
- hbase伪分布式安装(单节点安装)
hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart 1. 前提配置好java,环境java变量 上传jdk ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
- hadoop +zookeeper + hbase 单节点安装
项目描述: 今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, ...
- HBase伪分布式安装及简单使用
HBase是Hadoop的数据库,基于Hadoop执行.是一种NoSQL数据库. 特点:分布式.多版本号.面向列的存储模型.可以大规模的数据实时随机读写,可直接使用本地文件系统. 不适合:与关系型数据 ...
- hbase伪分布式安装以及实例演示
参考指路:https://www.cnblogs.com/wang-jx/p/9672072.html (包含实例演示,这里就不copy人家的心血了) 1.下载对应安装包解压 1.1下载 同样建议选择 ...
- hbase伪分布式安装(转)
原文地址:http://blog.csdn.net/yonghutwo/article/details/24555103 本机环境: ubuntu 12.4 Hadoop 1.1.2 安装hbase版 ...
- HBase - 伪分布式安装过程
环境 - hadoop - 没有zookeeper(用hbase自带的zookeeper,当然后期我会改用独立的zookeeper) HBase介绍 参考:hbase是什么? hbase下载 地址:h ...
随机推荐
- Power BI 行级别安全性 (RLS)
在 Power BI Desktop 中定义角色和规则 你可以在 Power BI Desktop 中定义角色和规则. 发布到 Power BI 时,它还会发布角色定义. 若要定义安全角色,请执行以下 ...
- linq多个条件
public static class PredicateBuilder { /// <summary> /// 机关函数应用True时:单个AND有效,多个AND有效:单个OR无效,多个 ...
- Qt 中使用Java代码获取安卓设备的MAC地址(安卓9.0)
public String GetDeviceMAC() { String strMacAddr = null; try { // 获得IpD地址 InetAddress ip = getLocalI ...
- Mongoose 使用Node操作MongoDB
Mongoose好处 可以为文档创建一个模式结构(Schema) 可以对模型中的对象/文档进行验证 数据可以通过类型转换转换为对象模型 可以使用中间件来应用业务逻辑挂钩 比Node原生的MongoDB ...
- Jupyter Notebook不能自动打开浏览器
安装了 Winpython,运行Jupyter Notebook.exe或Jupyter lab.exe,总是不能自动打开浏览器,提示"no web browser found" ...
- phpstudycomposer thinkPHP5.1 使用
1.首先把php变成全局变量 2.打开phpstudy composer 的安装目录 E:\phpstudy\PHPTutorial\tools\composer 把里面的文件全部删除(或者备份一下) ...
- Dijkstra 优先队列优化
#include <iostream> #include <queue> #include <vector> using namespace std; ; stru ...
- php一些常用单词(供初学者背)
> property 性质 特性 财产 所有权> oriented 导向> summarize 概括 总结> register ...
- 系列文章--Python Web编程
我从网上找到了其他园友的文章,很不错,留着自己学习学习. Python Web编程(一)Python Web编程(二)Python Web编程(三)Python Web编程(四)Python Web编 ...
- 使用Sendinput以及GetAsyncKeyState来模拟按键延时
Code: #include <windows.h> #include <tchar.h> #include <iostream> BOOL flag = TRUE ...