Hadoop伪分布安装详解(五)
目录:
1.修改主机名和用户名
2.配置静态IP地址
3.配置SSH无密码连接
4.安装JDK1.7
5.配置Hadoop
6.安装Mysql
7.安装Hive
8.安装Hbase
9.安装Sqoop
********************
8.安装Hbase
HBase是基于HDFS的一种列式数据库,接下来使用伪分布式的安装方式。
(1)将/opt/hbase-1.0.0-cdh5.6.0.tar.gz解压
tar -zxvf /opt/hbase-1.0.-cdh5.6.0.tar.gz
(2) 配置Hbase相关配置文件,在其conf目录下可查看所有配置文件,如下图:
打开hbase-env.sh
[root@neusoft-master conf]# vi hbase-env.sh
- #这里同时需要注释掉与zookeeper相关配置,在这里使用自带的Zookeeper。不使用单独的zookeeper。一般在文件中已经作了注释,无需修改该配置文件。
- #在文件末尾追加JAVA_HOME和HBASE_MANAGERS的配置信息
export JAVA_HOME=/usr/java/default
export HBASE_MANAGES_ZK=true #表示使用自带的zookeeper
(3)配置regionservers
[root@neusoft-master conf]# vi regionservers
该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的,因此,这里需要根据自己的主机名进行填写。
(4)配置hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://neusoft-master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value> true表示运行模式为完全分布式模式,如果是伪分布更改爲false
</property> </configuration>
(4)配置环境变量 vi /etc/profile
export HBASE_HOME=/opt/hbase-1.0.-cdh5.6.0
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin
source /etc/profile #配置生效
(5)启动并验证
(a)首先启动Hadoop
[root@neusoft-master ~]# cd /opt/hadoop-2.6.-cdh5.6.0/sbin/
[root@neusoft-master sbin]# ./start-all.sh
检验hadoop启动是否成功
(b)启动Hbase进程
[root@neusoft-master bin]# chmod +x /opt/hbase-1.0.-cdh5.6.0/bin/start-hbase.sh #启动文件赋权限
[root@neusoft-master bin]# ./opt/hbase-1.0.-cdh5.6.0/bin/start-hbase.sh #启动hbase进程
使用jps进程查看是否有如下进程
- HMaster #Hbase的配置节点。默认在start-habse.sh启动时启动。
- HregionServer #该配置选项为当Hbase启动的时候,Hreginserver进程是根据conf/regionserver文件中的节点来启动的。
- HQuorumpeer #该进程为Zookeeper进程
(c)进入Hbase命令行模式
[root@neusoft-master conf]# hbase shell
注意:安装完HBase,需要采用NTP时间同步服务器使得各节点时间一致,否则有了误差,Hbase会启动失败。
9.安装Sqoop
Sqoop是一个从关系型数据库抽取到Hadoop中,用于进一步处理数据。
(1)将/opt/sqoop-1.4.6-cdh5.6.0.tar.gz解压
tar -zxvf /opt/sqoop-1.4.-cdh5.6.0.tar.gz
(2)[root@neusoft-master bin]# vi /etc/profile
export SQOOP_HOME=/opt/sqoop-1.4.-cdh5.6.0
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SQOOP_HOME/bin
使得环境变量生效
source /etc/profile #使得环境变量生效
(3)进入mysql执行以下
mysql>grant all privileges on *.* to 'sqoop'@'neusoft-master' identified by 'sqoopwd' with grant option
mysql>select host,user,password from mysql.user
mysql>flush privileges;
mysql>create database sqoop;
mysql>use sqoop;
mysql>create table test(id int,name varchar(20),age int)
mysql>insert into test(1,'tag',20)
如果上述语句出错,插入语句可直接指定具体字段:mysql>insert into test(id,name,age) values(1,'tag',20)
(4)linux命令行中执行下述sqoop代码:
sqoop list-databases --connect jdbc:mysql://neusoft-master:3306/ --username sqoop --password sqooppwd
- 执行完后,即可显示MySql数据库中所有实例:
hive
mysql
sqoop
test
END~
Hadoop伪分布安装详解(五)的更多相关文章
- Hadoop伪分布安装详解(三)
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...
- Hadoop伪分布安装详解(二)
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...
- Hadoop伪分布安装详解(四)
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...
- Hadoop伪分布安装详解(一)
注:以下截图针对Ubuntu操作系统,对Centos步骤类似.请读者选择不同镜像即可. 第一部分:VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubunt ...
- hadoop 0.20.2伪分布式安装详解
adoop 0.20.2伪分布式安装详解 hadoop有三种运行模式: 伪分布式不需要安装虚拟机,在同一台机器上同时启动5个进程,模拟分布式. 完全分布式至少有3个节点,其中一个做master,运行名 ...
- hadoop伪分布安装
解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...
- 转载 hadoop 伪分布安装
一. 概要 经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境.本次测试在一台服务器上进行伪分布式搭建.Hadoop 伪分布式模式是在单机上模拟 Ha ...
- Hadoop伪分布安装配置
安装环境: 系统:Ubuntu 14.10 64bit hadoop:2.5.1 jdk:1.8.0_11 安装步骤: 一.安装JDK 安装 jdk,并且配置环境以及设置成默认 sudo gedi ...
- linux配置Hadoop伪分布安装模式
1)关闭禁用防火墙: /etc/init.d/iptables status 会得到一系列信息,说明防火墙开着. /etc/rc.d/init.d/iptables stop 关闭防火墙 2)禁用SE ...
随机推荐
- 实现编程时Vim自动导入相应模板
Vim文本编辑器以简洁高效著称,那么我们在编程时能有自动加载相应的模板,从而省去一些固定的输入提升工作效率呢!当然可以,可以有多种方法实现,我这里介绍一种非常简单的方法. 首先在你的主用户文件下面建立 ...
- [svc]tomcat配置文件详解
Tomcat系列之服务器的安装与配置以及各组件详解 tomcat 配置文件详解 tomcat安全管理规范
- Linksys WRT54G2 V1刷ddwrt注意事项
关于DD-WRT和TOMATO下的应用就不多说了,反正其他能刷DD-WRT.TOMATO的路由器会有的功能,这台机器也都有,不过此机器刷TOMATO一定要刷ND版本的,因为5354的CPU是属于比较新 ...
- python3用pillow生成验证码,tornado中输出图片
原文链接http://blog.csdn.net/cdnight/article/details/49636893
- 华中农业大学校赛 I Catching Dogs
Catching Dogs Time Limit: 1 Sec Memory Limit: 128 MBSubmit: 1140 Solved: 298[Submit][Status][Web B ...
- asp.net防止刷新时重复提交
前段时间遇到了需要禁用刷新的需求,f5按钮就不说了,简单的js就能把它禁用,但是工具条上的刷新按钮却傻傻干不掉. 如果简单的在刷新时重新加载画面,通过window.location.href=&quo ...
- NAT and Traversal NAT(TURN/STUN/ICE)
http://www.cnblogs.com/whyandinside/archive/2010/12/08/1900492.html -------------------------------- ...
- 23SpringMvc_各种参数绑定方式-就是<input那种
本篇博文转载自http://www.cnblogs.com/HD/p/4107674.html: SpringMVC的各种参数绑定方式 1. 基本数据类型(以int为例,其他类似):Controlle ...
- Android不同版本下Notification创建方法
项目环境 Project Build Target:Android 6.0 问题: 使用 new Notification(int icon, CharSequence tickerText, lon ...
- 第二百五十节,Bootstrap项目实战--响应式导航
Bootstrap项目实战--响应式导航 学习要点: 1.响应式导航 一.响应式导航 基本导航组件+响应式 第一步,声明导航区域,设置导航默认样式,设置导航条固定在顶部navbar样式class类,写 ...