基本安装步骤##

安装包下载###

大数据组件下载地址下载以下组件安装包

  1. hadoop-2.6.0-cdh5.6.0.tar.gz
  2. hbase-1.0.0-cdh5.6.0.tar.gz
  3. zookeeper-3.4.5-cdh5.6.0.tar.gz

    java下载地址下载以下组件安装包
  4. jdk-8u144-linux-x64.tar.gz

java环境###

  1. 解压 tar zxvf jdk-8u144-linux-x64.tar.gz
  2. 配置环境变量
    1. vim /etc/profile
export JAVA_HOME=/opt/cdh/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=.:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
2. `source /etc/profile`

SSH免密登陆###

hadoop安装###

  1. 解压 tar zxvf hadoop-2.6.0-cdh5.6.0.tar.gz
  2. 修改配置文件,位于目录hadoop-2.6.0-cdh5.6.0/etc/hadoop/下
    • 修改core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/cdh/hadoop/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/opt/cdh/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://ubuntu:9000</value>
</property>
</configuration>
- 修改mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>ubuntu:9001</value>
</property>
</configuration>
- 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/opt/cdh/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
- 修改hadoop-env.sh
export JAVA_HOME=/opt/cdh/jdk1.8.0_144
  1. 格式化namenode
hadoop-2.6.0-cdh5.6.0/bin/hadoop namenode -format
  1. 启动hdfs
hadoop-2.6.0-cdh5.6.0/sbin/start-all.sh
  1. 验证

zookeeper安装###

  1. 解压 tar zxvf zookeeper-3.4.5-cdh5.6.0.tar.gz
  2. 修改配置文件,位于目录zookeeper-3.4.5-cdh5.6.0/conf/下
    • zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/cdh/zookeeper
clientPort=2181
  1. 启动zookeeper
zookeeper-3.4.5-cdh5.6.0/bin/zkServer.sh start

hbase安装###

  1. 解压 tar zxvf hbase-1.0.0-cdh5.6.0.tar.gz
  2. 修改配置文件,位于目录hbase-1.0.0-cdh5.6.0/conf/下
    • hbase-env.sh
export JAVA_HOME=/opt/cdh/jdk1.8.0_144
export HBASE_MANAGES_ZK=false
- regionservers
ubuntu
- hbase-site.xml
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ubuntu:9000/hbase</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://ubuntu:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ubuntu:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/opt/cdh/zookeeper</value>
</property>
</configuration>
  1. 启动hbase

    hbase-1.0.0-cdh5.6.0/bin/start-hbase.sh
  2. 验证
    1. jps
    2. hbase-1.0.0-cdh5.6.0/bin/hbase shell
    3. 登陆网址: http://ip:60010

IDEA连接hbase登陆###

  1. 新建maven项目
  2. 修改pom.xml文件
	<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>
</repositories> <dependencies> <dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase</artifactId>
<version>1.0.0-cdh5.6.0</version>
</dependency> <dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.0.0-cdh5.6.0</version>
</dependency>
</dependencies>
  1. 按照百度搜索结果编写demo程序并执行

ERROR解决###

  1. 先确认以下地址一致

    linux下的/etc/hosts里的ip与windows下C:\Windows\System32\drivers\etc\hosts里的ip映射一致
  2. 禁用Hbase自带的zookeeper
    • 修改hbase-env.sh里的export HBASE_MANAGES_ZK=false

hadoop+zookeeper+hbase伪分布式安装的更多相关文章

  1. HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

    HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,H ...

  2. Hbase伪分布式安装

    前面的文章已经讲过hadoop伪分布式安装,这里直接介绍hbase伪分布式安装. 1. 下载hbase 版本hbase 1.2.6 2. 解压hbase 3. 修改hbase-env.sh 新增如下内 ...

  3. hbase伪分布式安装(单节点安装)

    hbase伪分布式安装(单节点安装) http://hbase.apache.org/book.html#quickstart   1.    前提配置好java,环境java变量     上传jdk ...

  4. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

  5. hadoop +zookeeper + hbase 单节点安装

    项目描述: 今天花了680元买了阿里云的一台内存1G, 带宽1M 的云主机. 想以后方便测试用,而且想把自己的博客签到自己的主机上.所以自己就搭了一个测试的环境. 可以用来进行基本的hbase 入库, ...

  6. HBase伪分布式安装及简单使用

    HBase是Hadoop的数据库,基于Hadoop执行.是一种NoSQL数据库. 特点:分布式.多版本号.面向列的存储模型.可以大规模的数据实时随机读写,可直接使用本地文件系统. 不适合:与关系型数据 ...

  7. hbase伪分布式安装以及实例演示

    参考指路:https://www.cnblogs.com/wang-jx/p/9672072.html (包含实例演示,这里就不copy人家的心血了) 1.下载对应安装包解压 1.1下载 同样建议选择 ...

  8. hbase伪分布式安装(转)

    原文地址:http://blog.csdn.net/yonghutwo/article/details/24555103 本机环境: ubuntu 12.4 Hadoop 1.1.2 安装hbase版 ...

  9. HBase - 伪分布式安装过程

    环境 - hadoop - 没有zookeeper(用hbase自带的zookeeper,当然后期我会改用独立的zookeeper) HBase介绍 参考:hbase是什么? hbase下载 地址:h ...

随机推荐

  1. Power BI 行级别安全性 (RLS)

    在 Power BI Desktop 中定义角色和规则 你可以在 Power BI Desktop 中定义角色和规则. 发布到 Power BI 时,它还会发布角色定义. 若要定义安全角色,请执行以下 ...

  2. linq多个条件

    public static class PredicateBuilder { /// <summary> /// 机关函数应用True时:单个AND有效,多个AND有效:单个OR无效,多个 ...

  3. Qt 中使用Java代码获取安卓设备的MAC地址(安卓9.0)

    public String GetDeviceMAC() { String strMacAddr = null; try { // 获得IpD地址 InetAddress ip = getLocalI ...

  4. Mongoose 使用Node操作MongoDB

    Mongoose好处 可以为文档创建一个模式结构(Schema) 可以对模型中的对象/文档进行验证 数据可以通过类型转换转换为对象模型 可以使用中间件来应用业务逻辑挂钩 比Node原生的MongoDB ...

  5. Jupyter Notebook不能自动打开浏览器

    安装了 Winpython,运行Jupyter Notebook.exe或Jupyter lab.exe,总是不能自动打开浏览器,提示"no web browser found" ...

  6. phpstudycomposer thinkPHP5.1 使用

    1.首先把php变成全局变量 2.打开phpstudy composer 的安装目录 E:\phpstudy\PHPTutorial\tools\composer 把里面的文件全部删除(或者备份一下) ...

  7. Dijkstra 优先队列优化

    #include <iostream> #include <queue> #include <vector> using namespace std; ; stru ...

  8. php一些常用单词(供初学者背)

    > property         性质 特性 财产 所有权> oriented         导向> summarize     概括 总结> register      ...

  9. 系列文章--Python Web编程

    我从网上找到了其他园友的文章,很不错,留着自己学习学习. Python Web编程(一)Python Web编程(二)Python Web编程(三)Python Web编程(四)Python Web编 ...

  10. 使用Sendinput以及GetAsyncKeyState来模拟按键延时

    Code: #include <windows.h> #include <tchar.h> #include <iostream> BOOL flag = TRUE ...