目录:

1.修改主机名和用户名

2.配置静态IP地址

3.配置SSH无密码连接

4.安装JDK1.7

5.配置Hadoop

6.安装Mysql

7.安装Hive

8.安装Hbase

9.安装Sqoop

********************

8.安装Hbase

HBase是基于HDFS的一种列式数据库,接下来使用伪分布式的安装方式。

(1)将/opt/hbase-1.0.0-cdh5.6.0.tar.gz解压

tar  -zxvf  /opt/hbase-1.0.-cdh5.6.0.tar.gz

(2) 配置Hbase相关配置文件,在其conf目录下可查看所有配置文件,如下图:

打开hbase-env.sh

[root@neusoft-master conf]# vi  hbase-env.sh

  • #这里同时需要注释掉与zookeeper相关配置,在这里使用自带的Zookeeper。不使用单独的zookeeper。一般在文件中已经作了注释,无需修改该配置文件。
  • #在文件末尾追加JAVA_HOME和HBASE_MANAGERS的配置信息
export JAVA_HOME=/usr/java/default
export HBASE_MANAGES_ZK=true #表示使用自带的zookeeper

   (3)配置regionservers

[root@neusoft-master conf]# vi regionservers

该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的,因此,这里需要根据自己的主机名进行填写。

(4)配置hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://neusoft-master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value> true表示运行模式为完全分布式模式,如果是伪分布更改爲false
</property> </configuration>

(4)配置环境变量 vi /etc/profile

export HBASE_HOME=/opt/hbase-1.0.-cdh5.6.0
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin

source  /etc/profile  #配置生效

(5)启动并验证

(a)首先启动Hadoop

[root@neusoft-master ~]# cd /opt/hadoop-2.6.-cdh5.6.0/sbin/
[root@neusoft-master sbin]# ./start-all.sh

检验hadoop启动是否成功

  

(b)启动Hbase进程

 [root@neusoft-master bin]# chmod +x /opt/hbase-1.0.-cdh5.6.0/bin/start-hbase.sh   #启动文件赋权限
[root@neusoft-master bin]# ./opt/hbase-1.0.-cdh5.6.0/bin/start-hbase.sh #启动hbase进程

     使用jps进程查看是否有如下进程 

  • HMaster              #Hbase的配置节点。默认在start-habse.sh启动时启动。
  • HregionServer    #该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的。
  • HQuorumpeer     #该进程为Zookeeper进程

(c)进入Hbase命令行模式 

 [root@neusoft-master conf]# hbase  shell

注意:安装完HBase,需要采用NTP时间同步服务器使得各节点时间一致,否则有了误差,Hbase会启动失败。

  9.安装Sqoop

 Sqoop是一个从关系型数据库抽取到Hadoop中,用于进一步处理数据。

(1)将/opt/sqoop-1.4.6-cdh5.6.0.tar.gz解压  

tar -zxvf   /opt/sqoop-1.4.-cdh5.6.0.tar.gz

       (2)[root@neusoft-master bin]# vi /etc/profile

export SQOOP_HOME=/opt/sqoop-1.4.-cdh5.6.0
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin

使得环境变量生效

source  /etc/profile  #使得环境变量生效

 (3)进入mysql执行以下

mysql>grant all privileges on  *.* to 'sqoop'@'neusoft-master' identified by 'sqoopwd' with grant option

mysql>select host,user,password  from mysql.user

mysql>flush privileges;

mysql>create database sqoop;

mysql>use sqoop;

mysql>create table test(id int,name varchar(20),age int)

mysql>insert into test(1,'tag',20)

如果上述语句出错,插入语句可直接指定具体字段:mysql>insert into test(id,name,age) values(1,'tag',20)

(4)linux命令行中执行下述sqoop代码:

sqoop  list-databases  --connect  jdbc:mysql://neusoft-master:3306/  --username  sqoop  --password  sqooppwd
  • 执行完后,即可显示MySql数据库中所有实例:

hive

mysql

sqoop

test

END~

Hadoop伪分布安装详解(五)的更多相关文章

  1. Hadoop伪分布安装详解(三)

    目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...

  2. Hadoop伪分布安装详解(二)

    目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...

  3. Hadoop伪分布安装详解(四)

    目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...

  4. Hadoop伪分布安装详解(一)

    注:以下截图针对Ubuntu操作系统,对Centos步骤类似.请读者选择不同镜像即可. 第一部分:VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubunt ...

  5. hadoop 0.20.2伪分布式安装详解

    adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...

  6. hadoop伪分布安装

    解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...

  7. 转载 hadoop 伪分布安装

    一. 概要        经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境.本次测试在一台服务器上进行伪分布式搭建.Hadoop 伪分布式模式是在单机上模拟 Ha ...

  8. Hadoop伪分布安装配置

    安装环境: 系统:Ubuntu 14.10   64bit hadoop:2.5.1 jdk:1.8.0_11 安装步骤: 一.安装JDK 安装 jdk,并且配置环境以及设置成默认 sudo gedi ...

  9. linux配置Hadoop伪分布安装模式

    1)关闭禁用防火墙: /etc/init.d/iptables status 会得到一系列信息,说明防火墙开着. /etc/rc.d/init.d/iptables stop 关闭防火墙 2)禁用SE ...

随机推荐

  1. 实现编程时Vim自动导入相应模板

    Vim文本编辑器以简洁高效著称,那么我们在编程时能有自动加载相应的模板,从而省去一些固定的输入提升工作效率呢!当然可以,可以有多种方法实现,我这里介绍一种非常简单的方法. 首先在你的主用户文件下面建立 ...

  2. [svc]tomcat配置文件详解

    Tomcat系列之服务器的安装与配置以及各组件详解 tomcat 配置文件详解 tomcat安全管理规范

  3. Linksys WRT54G2 V1刷ddwrt注意事项

    关于DD-WRT和TOMATO下的应用就不多说了,反正其他能刷DD-WRT.TOMATO的路由器会有的功能,这台机器也都有,不过此机器刷TOMATO一定要刷ND版本的,因为5354的CPU是属于比较新 ...

  4. python3用pillow生成验证码,tornado中输出图片

    原文链接http://blog.csdn.net/cdnight/article/details/49636893

  5. 华中农业大学校赛 I Catching Dogs

    Catching Dogs Time Limit: 1 Sec  Memory Limit: 128 MBSubmit: 1140  Solved: 298[Submit][Status][Web B ...

  6. asp.net防止刷新时重复提交

    前段时间遇到了需要禁用刷新的需求,f5按钮就不说了,简单的js就能把它禁用,但是工具条上的刷新按钮却傻傻干不掉. 如果简单的在刷新时重新加载画面,通过window.location.href=&quo ...

  7. NAT and Traversal NAT(TURN/STUN/ICE)

    http://www.cnblogs.com/whyandinside/archive/2010/12/08/1900492.html -------------------------------- ...

  8. 23SpringMvc_各种参数绑定方式-就是<input那种

    本篇博文转载自http://www.cnblogs.com/HD/p/4107674.html: SpringMVC的各种参数绑定方式 1. 基本数据类型(以int为例,其他类似):Controlle ...

  9. Android不同版本下Notification创建方法

    项目环境 Project Build Target:Android 6.0 问题: 使用 new Notification(int icon, CharSequence tickerText, lon ...

  10. 第二百五十节,Bootstrap项目实战--响应式导航

    Bootstrap项目实战--响应式导航 学习要点: 1.响应式导航 一.响应式导航 基本导航组件+响应式 第一步,声明导航区域,设置导航默认样式,设置导航条固定在顶部navbar样式class类,写 ...