HBase学习系列
转自:http://www.aboutyun.com/thread-8391-1-1.html
问题导读:
1.hbase是什么?
2.hbase原理是什么?
3.hbase使用中会遇到什么问题?
4.如何通过eclipse,操作hbase?
5.hbase经常和哪些软件一起使用?
。。。。。。。。。。
![]() hbase从入门到编程
认识hbase 1.hbase简介 <ignore_js_op> 更多内容参考: 2.hbase应用场景 3.hbase与传统数据的区别 图解Nosql(hbase)与传统数据库的区别 hbase与传统数据的区别 图1传统数据库 图2:hbase数据库 4.hbase与hadoop的关系 hive与hbase的十大区别与联系
hbase中出现了Region,RegionServer,ROOT- 和.META表, HBase中有两张特殊的Table,-ROOT-和.META. HBase 各部件的作用 http://www.aboutyun.com/thread-5862-1-1.html hbase中什么是Region,什么是RegionServer? HBASE原理简述 hbase部署 我们掌握理论知识,并不是真正的认识,因为计算机是一门实践学科,下面我们开始部署hbase,什么是部署,这里是安装的意思,因为Linux的安装软件与window有所区别的,所以对于刚接触Linux的同学,在部署方面还需要花不少功夫的。 hbase的部署分为单机部署及集群部署,建议采用集群部署,在部署hbase之前,需要安装hadoop。部署文档可以参考: hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档 在部署的时候,需要注意hadoop版本与hbase的版本匹配。 HBASE分布式安装视频下载分享http://www.aboutyun.com/thread-6612-1-1.html Hbase单节点部署及其基础使用 HBASE分布式安装视频下载分享 hadoop、hbase、hive版本对应关系 hbase与zookeeper可以说是不可分离的,因此hbase有自带的zookeeper,如果不使用自带zookeeper,可以禁用zookeeper,使用外部zookeeper。 Hbase禁用自带ZooKeeper,使用已经安装的ZooKeeper 上面我们完成基本的配置,在后面的使用过程中,我们对集群的要求增高,所以我们就会需要了解更多的配置项的作用,下面帖子可以参考。 HBase 默认配置说明(收藏版) Hbase配置项粗解(1) Hbase配置项粗解(2) Hbase配置项粗解(3) 其他: hbase-0.94.10.tar.gz包下载 hadoop_HBase安装,数据分析与建模,实战案例剖析 Ganglia监控Hadoop及Hbase集群性能(安装配置) 更多的jar包、安装包 hbase整合 hbase不是单独存在的,hbase可以与hive、Impala、Flume整合。我们为什么要整合?比如我们hbase、hive整合之后,当我们将数据插入hbase之后,hive随之同步,我们无须操作hive,这就是整合的好处。对于flume整合,当flume整合搜集到数据之后,会自动发送到hbase,这样省去了我们很多的功夫去编程。我们只需要关心我们的业务逻辑即可。 hive与hbase整合原理介绍 hive为什么与hbase整合 hbase 0.96整合到hadoop2.2三个节点全分布式安装高可靠文档(推荐) Impala与HBase整合实践 编译和使用hive与HBase通信包--hive-hbase-handler.jar及下载 1.hive与hbase对应版本
2.hive-hbase-handler.jar在于hbase、hive中起的作用是什么?
3.hive-hbase-handler.jar是否有版本之分,不同版本是否都能使用这个包来整合hbase与hive?
4.整合过程中hive-hbase-handler.jar应该放在hive的哪个文件夹中?
hbase0.96与hive0.12整合高可靠文档及问题总结 Flume-ng将数据插入hdfs与HBase-0.96.0 hive0.13调整hbase 0.96.2 hadoop2.2.0 问题总结 Flume-1.4.0和Hbase-0.96.0整合实践 Flume-0.9.4和Hbase-0.96整合实践 hbase使用 上面讲了很多,从理论到实践安装,我们终于可以使用了,我们很想尝试增删改查到底是什么样子的?
这里举个具体例子: 2.drop一个表 更详细参考下面帖子: HBase Shell常用命令 上面是基本的操作,使用的时间越长,我们的需求就会越多,比如删除数据会遇到region不释放,我们想备份数据、定期删除数据,压缩数据、查询优化等更详细内容查看下面帖子: HBase如何实现多条件查询 开启hadoop和Hbase集群的lzo压缩功能 HBase实现记录定期定量删除 hbase数据删除不释放region解决办法 HBase 利用Coprocessor实现聚合函数 大数据应用之HBase数据插入性能优化之多线程并行插入测试案例 1、单线程下HBase的插入性能如何? hbase与hadoop2.X在CentOS6.4下源码编译 hbase meta表修复方式总结 1.hbase hbck -fixMeta的作用是什么? 优化hbase的查询优化-大幅提升读写速率 hadoop及hbase的超时设置 优化hbase的查询提升读写速率优化案例及性能提升的几种方法 1.完全发挥不出hbase的效率的原因是什么? Hbase数据备份和恢复 hbase工具 所谓工具就是帮助我们的,hbase工具,则是帮助我们使用hbase,phoenix的作用是什么? hbase的sql操作的框架-phoenix hbase有哪些可视化工具,图形界面管理工具 phoenix实战(hadoop2、hbase0.96) Phoenix介绍:实现向HBase发送标准SQL语句 hbase设计 hbase设计这个是一个比较大的话题,很多都是根据自己项目的具体情况来设计,这里只是简单说一下设计中需要注意的问题 Hbase初步入门-- 表该如何构造和设计 HBase设计 hbase之rowkey的设计讨论 HBase的rowkey设计 hbase数据快速备份:HBase snapshot分析 修复hbase元数据.meta.表空洞的问题 hbase Balancer 源码分析-负载均衡 HBase Bug 知多少 hbase编程 hbase分为两种是一种开发API,就是所谓的二次开发,一种是客户端API,也就是我们使用hbase来完成一些事情。对于hbase源码获取,我们需要具备maven知识,同hadoop获取源码的方式是一样的,具体可以参考:从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码. 通过eclipse获取源码之后,我们会看到一些maven语法错误,如果遇到execution错误,可以参考下面帖子。 我们获取源码是为了查看更好的使用hbase,hbase的基本操作,在shell中能够完成,我们通过Java API eclipse环境同样能完成。除了增删改查、分页之外,我们还可以开发插件。 hbase编程:Eclipse远程连接创建hbase表以及填充列与列数据 Java操作hbase编程 spark使用java读取hbase数据做分布式计算 hbase编程:通过Java api操作hbase hbase HTable之Put、delete、get等源码分析 Hbase Java编程实现增删改查 总结Eclipse 远程连接 HBase问题及解决方案大全 HBase中如何开发LoadBalance插件 Hbase与eclipse集成的第一个例子 hbase分页应用场景及分页思路与代码实现 HBase MapReduce排序Secondary Sort CDH4源码搭建hbase开发环境 Thrift了解4:C#通过Thrift操作HBase实战 hbase API hadoop2.2.0帮助手册下载API及HBase 0.98.1-hadoop2 API HBase数据迁移(1)-使用HBase的API中的Put方法 hbase编程:Java API连接Hbase进行增删改查讲解实例 hbase问题 hbase使用和开发过程中会遇到各种问题,比如插入数据越来越慢,master启动之后又挂掉,hbase如何存储图片,线上regionserver无缘无故下线,这里整理了一下。 hive-hbase整合后查询缓慢 hbase插入数据,为什么速度越来越慢 hbase排错:be reached after 1 tries, giving up. hbase master启动了又挂了 hbase配置、运行错误总结 hbase删除数据的问题 hbase和hive整合问题 HBase如何把图片存进去呢? hbase编写自定义count功能的问题 请问hbase如何设置region大小啊 hbase regionserver下线 hbase伪分布式是不是没有regionserver啊 hbase的“-ROOT-”表所在的block丢失,该如何恢复 hive0.13与hbase0.98.2通过向Hbase表中导数据出现的错 hbase编程如何获取动态列 获取源码遇到问题解决方案: 解决问题的根本 Hadoop和Hbase重要日志位置 hbase在大企业应用 我们在使用hbase的过程中,我们所遇到的问题,走过的路,或许别人已经遇到并且解决,对于阿里、360、Facebook等大公司是走在我们前面的,下面的一些经验可以借鉴。 hbase在360的应用及使用过程中遇到的问题及解决方案 HBase在淘宝主搜索的Dump中的性能调优 1.hbase在运用中,如何有效降低延时?
2.如何对Dump进行性能调优?
淘宝搜索分析系统Pora2的应用之HBase高并发读写性能优化 Facebook使用HBase构建实时信息系统:能每月存储1350亿条信息 淘宝之HBase MapReduce实例分析 淘宝hbase业务实践 HBase在内容推荐引擎系统中的一些问题 淘宝为什么使用HBase及如何优化的 HBase工程师线上工作经验总结----HBase常见问题及分析 HBase在搜狐内容推荐引擎系统中的应用 Facebook针对hbase的优化方案分析 附上API 相关篇章推荐: |
HBase学习系列的更多相关文章
- 大数据学习系列之三 ----- HBase Java Api 图文详解
版权声明: 作者:虚无境 博客园出处:http://www.cnblogs.com/xuwujing CSDN出处:http://blog.csdn.net/qazwsxpcm 个人博客出处:http ...
- 大数据学习系列之五 ----- Hive整合HBase图文详解
引言 在上一篇 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机) 和之前的大数据学习系列之二 ----- HBase环境搭建(单机) 中成功搭建了Hive和HBase的环 ...
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
- 大数据学习系列之九---- Hive整合Spark和HBase以及相关测试
前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为h ...
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...
- 大数据学习系列之六 ----- Hadoop+Spark环境搭建
引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合 ...
- 分布式学习系列【dubbo入门实践】
分布式学习系列[dubbo入门实践] dubbo架构 组成部分:provider,consumer,registry,monitor: provider,consumer注册,订阅类似于消息队列的注册 ...
- Entity Framework Code First学习系列目录
Entity Framework Code First学习系列说明:开发环境为Visual Studio 2010 + Entity Framework 5.0+MS SQL Server 2012, ...
- WCF学习系列汇总
最近在学习WCF,打算把一整个系列的文章都”写“出来,包括理论和实践,这里的“写”是翻译,是国外的大牛写好的,我只是搬运工外加翻译.翻译的不好,大家请指正,谢谢了.如果觉得不错的话,也可以给我点赞,这 ...
随机推荐
- 菜鸟调错(三)——Jboss与jdk版本号不兼容导致WebService调用出错
环境: jdk1.6 Jboss 5.1.0.GA 问题描写叙述: EJB公布webserivce已经成功,而且可以成功訪问wsdl文件: 使用axis1自带的sample/client下的类Dyna ...
- HDU 1595 find the longest of the shortest【次短路】
转载请注明出处:http://blog.csdn.net/a1dark 分析:经典的次短路问题.dijkstra或者SPFA都能做.先找出最短路.然后依次删掉没条边.为何正确就不证明了.了解思想直接A ...
- UNIX网络编程读书笔记:UNIX域协议
概述 UNIX域协议并不是一个实际的协议族,而是在单个主机上执行客户/服务器通信的一种方法,所用API与在不同主机上执行客户/服务器通信所用的API(套接口API)相同.UNIX域协议可视为进程间通信 ...
- Install fail! Error: [@@babel/runtime/core-js/object/keys]
1.Install fail! Error: [@@babel/runtime/core-js/object/keys] "@babel/runtime": "7.0.0 ...
- Android 识别身份证号码(图片识别)
概述 Android 身份证号码识别 (本地,在线,实时),网络识别用的别人的接口,不保障什么时候就用不了了,本地识别基于tess_two,位置对的话识别准确率达到90%以上. 详细 代码下载:htt ...
- Sphinx全文检索引擎测试
数据表 1.documents CREATE TABLE `documents` ( `id` int(13) NOT NULL auto_increment, `group_id` int(11) ...
- 去掉A标签的虚线框
outline是css3的一个属性,用的很少. 声明,这是个不能兼容的css属性,在ie6.ie7.遨游浏览器都不兼容. outline控制的到底是什么呢? 当聚焦a标签的时候,在a标签的区域周围会有 ...
- 让你的jenkins能当奴隶主---说说几种Jenkins build框架
近期又有几个朋友看了俺的文章询问.怎样让Jenkins能做到分布式.我解释了非常久,发现这也是个非常好的topic,就来博客继续念叨念叨. 这个非常easy,所以这篇文章也就介绍简单点. 首先说下Je ...
- Json序列化之.NET开源类库Newtonsoft.Json
上代码: using System; using System.Collections; using System.Collections.Generic; using System.IO; usin ...
- mysql的join操作
一.Join语法概述 join 用于多表中字段之间的联系,语法如下: ... FROM table1 INNER|LEFT|RIGHT JOIN table2 ON conditiona table1 ...