HBase详解(04) - HBase Java API使用 环境准备 新建Maven项目,在pom.xml中添加依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.0.5</version> </dependency> <dependency> &l…

HBase详解(05) - HBase优化 整合Phoenix 集成Hive HBase优化 预分区 每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护.那么依照这个原则,可以将数据所要投放的分区提前大致的规划好,以提高HBase性能. 1.手动设定预分区 hbase> create 'staff1','info',SPLITS => ['1000','2000','3000','4000']…

kafka详解(03) - kafka JAVA API Producer (生产者)API 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式.在消息发送的过程中,涉及到了两个线程--main线程和Sender线程,以及一个线程共享变量--RecordAccumulator.main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker. 相关参数: batch.size:只有数…

HBase简介 定义:HBase是一种分布式.可扩展.支持海量数据存储的NoSQL数据库. 数据模型:逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列.但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map. HBase逻辑结构 物理存储结构 数据模型 1)Name Space 命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表.HBase有两个自带的命名空间,分别是hbase和defa…

RegionServer 架构 每个RegionServer可以服务于多个Region 每个RegionServer中有多个Store, 1个WAL和1个BlockCache 每个Store对应一个列族,包含MemStore和StoreFile StoreFile 将有序K-V的文件存储在HDFS上 保存实际数据的物理文件,StoreFile以Hfile的形式存储在HDFS上.每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的. MemStor…

HBase详解(很全面) very long story 简单看了一遍 很多不明白的地方.. 2018-06-08 16:12:32 卢子墨 阅读数 34857更多 分类专栏: HBase   [转自:http://jiajun.iteye.com/blog/899632] 一. 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype…

作者:韩信子@ShowMeAI 教程地址:http://www.showmeai.tech/tutorials/84 本文地址:http://www.showmeai.tech/article-detail/172 声明:版权所有,转载请联系平台与作者并注明出处 1.大数据与数据库 1) 从Hadoop到数据库 大家知道在计算机领域,关系数据库大量用于数据存储和维护的场景.大数据的出现后,很多公司转而选择像 Hadoop/Spark 的大数据解决方案. Hadoop使用分布式文件系统,用于存储大…

HBase详解(02) - HBase-2.0.5安装 HBase安装环境准备 Zookeeper安装 Zookeeper安装参考<Zookeeper详解(02) - zookeeper安装部署-单机模式-集群模式> 启动Zookeeper集群 bin/zkServer.sh start Hadoop安装 Hadoop安装参考<Hadoop详解(02) - Hadoop3.1.3集群运行环境搭建> 启动Hadoop集群 sbin/start-dfs.sh sbin/start-ya…

Java网络编程和NIO详解开篇:Java网络编程基础 计算机网络编程基础 转自:https://mp.weixin.qq.com/s/XXMz5uAFSsPdg38bth2jAA 我们是幸运的,因为我们拥有网络.网络是一个神奇的东西,它改变了你和我的生活方式,改变了整个世界. 然而,网络的无标度和小世界特性使得它又是复杂的,无所不在,无所不能,以致于我们无法区分甚至无法描述. 对于一个码农而言,了解网络的基础知识可能还是从了解定义开始,认识OSI的七层协议模型,深入Socket内部,进而熟练地…

Hadoop详解(04)-Hdfs HDFS概述 HDFS产出背景及定义 背景:随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统.HDFS只是分布式文件管理系统中的一种. 定义:HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务…