HBase 架构与工作原理2 - HBase 组件

【HBase 架构与工作原理2 - HBase 组件】的更多相关文章

HBase 架构与工作原理3 - HBase 读写与删除原理

本文系转载,如有侵权,请联系我:likui0913@gmail.com 一.前言在 HBase 中,Region 是有效性和分布的基本单位,这通常也是我们在维护时能直接操作的最小单位.比如当一个集群的存储在各个节点不均衡时,HMaster 便是通过移动 Region 来达到集群的平衡.或者某一个 Region 的请求过高时,通过分裂 Region 来分散请求.或者我们可以指定 Region 的 startKey 和 endKey 来设计它的数据存放范围等等. 所以,HBase 在读写数据时,都…

HBase 架构与工作原理2 - HBase 组件

本文系转载,如有侵权,请联系我:likui0913@gmail.com 一.HBase 组件概览 Master-Slave 模式: HBase 体系结构遵循传统的 master-slave 模式,由一位掌握决策的主设备和一个或多个真正处理任务的从设备组成.在 HBase 中,主设备称为 HMaster,从设备被称为 HRegionServers,主从设备之间则通过 Zookeeper 共享状态信息. HBase 组成: 从物理层面,HBase 由 3 个部分: Region Servers HB…

HBase 架构与工作原理1 - HBase 的数据模型

本文系转载,如有侵权,请联系我:likui0913@gmail.com 一.应用场景 HBase 与 Google 的 BigTable 极为相似,可以说 HBase 就是根据 BigTable 设计的,这一点在 BigTable 论文中也能发现. 在 BigTable 论文中提到了它的应用场景: BigTable 是一个分布式的结构化数据存储系统,它被设计用来处理海量数据:通常是分布在数千台普通服务器上的 PB 级的数据. Google 的很多项目使用 Bigtable 存储数据,包括 Web…

HBase（三）HBase架构与工作原理

一.系统架构注意:应该是每一个 RegionServer 就只有一个 HLog,而不是一个 Region 有一个 HLog. 从HBase的架构图上可以看出,HBase中的组件包括Client.Zookeeper.HMaster.HRegionServer.HRegion.Store.MemStore.StoreFile.HFile.HLog等,接下来介绍他们的作用. 1.Client 1.HBase 有两张特殊表: .META.:记录了用户所有表拆分出来的的 Region 映射信息,.MET…

HBase 架构与工作原理5 - Region 的部分特性

本文系转载,如有侵权,请联系我:likui0913@gmail.com Region Region 是表格可用性和分布的基本元素,由列族(Column Family)构成的 Store 组成.对象的层次结构如下: - Table - Region - Store (由每个 Region 中的列族组成的存储块) - MemStore (每个 Region 中存储在内存中的 Store) - StoreFile (每个 Region 中被持久化后的 Store) - Block (StoreFile…

HBase 架构与工作原理4 - 压缩、分裂与故障恢复

本文系转载,如有侵权,请联系我:likui0913@gmail.com Compacation HBase 在读写的过程中,难免会产生无效的数据以及过小的文件,比如:MemStore 在未达到指定大小便刷新数据以写入到磁盘:或者当已经写入 HFile 的数据被删除后,原数据被标记了墓碑,却仍然存在于 HFile 之中.在这些情况之下,我们需要清除无效的数据或者合并过小的文件来提高读的性能.这种合并的过程也被称为 compacation. HBase 中使用的 compacation 方式主要分为…