Hbase简单介绍
一、背景介绍
我们生活在一个互联网的时代,这个时代的特点是,无论任何事情,只要我们想知道,都可以通过互联网迅速的检索到问题的答案,并且答案是有用的,并非常切合我们的需要。
因此,很多公司都开始致力于提供更加有针对性的,个性化的服务。因为这种能力会直接影响公司在商业上的成败
为什么以前我们没有出现这样的服务呢?是因为我们不需要这些信息?还是其他原因呢?
因为以前缺乏“划算”的方式来存储所有信息。因此,公司可能会忽略掉某些数据源,但这种方式站在今天,会让公司失去竞争力,因为大数据时代的到来,今天的我们不仅只关心“开始”与“结束”,我们更关心中间的过程。
通过将相应“过程”信息存储在计算机中,我们可以利用新机器学习算法的引入,收集更多数据需求,为我们的客户提供更切合需求的定制化服务,真正实现“私人定制”的目标;
而实现这一切的“起点”,首先需要解决的就是——“存” 。
二、Hbase
Hbase和Hadoop都是Apache软件基金会下的顶级子项目。HBase是一个分布式的、面向列的开源数据库。该技术思想来源于Google发表的“Bigtable”论文;
HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,另一个不同的是HBase基于列的而不是基于行的模式。
三、优势对比
传统关系型数据库的缺陷:
1、高并发读写的瓶颈
2、可扩展性的限制
3、数据量大的查询的负面影响
4、复杂SQL查询的弱化
非关系型数据库的优势:
1、可扩展性强
2、并发性能好
3、数据模型灵活
四、应用领域
2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起,2008年成为Apache Hadoop的一个子项目,目前,Hbase和Hadoop都是Apache基金会下的顶级项目。
国外应用:Facebook、Yahoo、Adobe、Twitter、Trend Micro、ebay。
国内应用:阿里巴巴、苏宁、京东、腾讯、百度、新浪、人人网、中国移动、乐视、优酷、联想。
学科领域的应用:金融、生物信息学、智能电网、销售、基因组学、移动电话服务、军事、环境工程。
五、Hbase与Hadoop
Hbase是搭建在Hadoop之上的,Hbase可单独使用,即只做存储功能,也可与Hadoop可实现无缝集成。
存放在Hbase的数据可直接通过Hadoop来进行分析,Hadoop分析后的结果可直接写入Hbase中。
HDFS(Hadoop Distributed File System)只是一个存储空间,Hbase是一个内存数据库,Hbase中的表、索引等是存在HDFS之上的,总而言之,Hbase所有数据文件在HDFS上存储。
六、应用场景
1、大数据量且有快速随机访问的需求
2、数据容量的横向扩展
3、业务场景简单,不需要关系数据库中很多特性(例如事务,连接等等)
4、需要很高的读写吞吐量
5、存储结构化和半结构化的数据
Hbase简单介绍的更多相关文章
- Phoenix(sql on hbase)简单介绍
Phoenix(sql on hbase)简单介绍 介绍: Phoenix is a SQL skin over HBase delivered as a client-embedded JDBC d ...
- 一起学HBase——简单介绍HBase各种组件
HBase是谷歌BigTble的开源实现.谷歌的三篇论文拉开了大数据江湖的序幕,铸就了现在以Hadoop为主的大数据技术生态圈.而HBase是开源的大数据数据库,和传统的行式数据库不同的是,HBase ...
- Hbase:简单介绍一下Hbase表的结构
HBase 是一个NoSQL数据库,用于处理海量数据,可以支持10亿行百万列的大表,下面我就和大家分享一下数据是如何存放在HBase表中的 为了更好的理解HBase表的思路,先回顾一下关系数据库中表的 ...
- Cloudera impala简单介绍及安装具体解释
一.Impala简单介绍 Cloudera Impala对你存储在Apache Hadoop在HDFS,HBase的数据提供直接查询互动的SQL.除了像Hive使用同样的统一存储平台,Impala也使 ...
- Hadoop简单介绍
Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎.它提供了我们运行自己的搜索引擎所需的全部工具.包括全文搜索和Web爬虫. 随后在2003 ...
- HDFS简单介绍及用C语言訪问HDFS接口操作实践
一.概述 近年来,大数据技术如火如荼,怎样存储海量数据也成了当今的热点和难点问题,而HDFS分布式文件系统作为Hadoop项目的分布式存储基础,也为HBASE提供数据持久化功能,它在大数据项目中有很广 ...
- Python常用的库简单介绍一下
Python常用的库简单介绍一下fuzzywuzzy ,字符串模糊匹配. esmre ,正则表达式的加速器. colorama 主要用来给文本添加各种颜色,并且非常简单易用. Prettytable ...
- 【Hadoop离线基础总结】Hue的简单介绍和安装部署
目录 Hue的简单介绍 概述 核心功能 安装部署 下载Hue的压缩包并上传到linux解压 编译安装启动 启动Hue进程 hue与其他框架的集成 Hue与Hadoop集成 Hue与Hive集成 Hue ...
- 【Hadoop离线基础总结】impala简单介绍及安装部署
目录 impala的简单介绍 概述 优点 缺点 impala和Hive的关系 impala如何和CDH一起工作 impala的架构及查询计划 impala/hive/spark 对比 impala的安 ...
- Linux配置zookeeper 和zookeeper简单介绍
一.zookeeper介绍? 一.zookeeper 简单介绍? 1.什么是集群? // 很多台服务器保持连接通讯状态,并且所有的服务器做同一件事就称之为集群 2.什么是zookeeper? 注册中心 ...
随机推荐
- 函数计算 FC 3.0 发布,全面降价,最高幅度达93%,阶梯计费越用越便宜
作为国内最早布局 Serverless 的云厂商之一,阿里云在 2017 年推出函数计算 FC,开发者只需编写代码并上传,函数计算就会自动准备好相应的计算资源,大幅简化开发运维过程.阿里云函数计算持续 ...
- springboot 实现接收前端发来的图片和视频以及在页面上展示图片和视频
springboot 实现接收前端发来的图片和视频以及在页面上展示图片和视频 一.效果: 1.上传图片 2.显示上传的图片 3.上传的视频 4.显示上传的视频 二.代码 没依赖特殊的包,引入sprin ...
- 二、Mycat安装
系列导航 一.Mycat实战---为什么要用mycat 二.Mycat安装 三.mycat实验数据 四.mycat垂直分库 五.mycat水平分库 六.mycat全局自增 七.mycat-ER分片 万 ...
- [GFCTF 2021]web部分题解(更新中ing)
[GFCTF 2021]Baby_Web 拿源码环节: 打开环境(◡ᴗ◡✿) 乍一看什么都没有,F12下没看到js文件,但是看到了出题师傅的提示:"源码藏在上层目录xxx.php.txt里面 ...
- [转帖]Oracle数据库开启NUMA支持
NUMA简介 NUMA(Non Uniform Memory Access Architecture,非统一内存访问)把一台计算机分成多个节点(node),每个节点内部拥有多个CPU,节点内部使用共有 ...
- [转帖]MOUNTING AN S3 BUCKET ON WINDOWS AND LINUX
https://blog.spikeseed.cloud/mount-s3-as-a-disk/#mounting-an-s3-bucket-on-windows-server-2016 Wouldn ...
- 人工智能GPT科普知识的简单总结
人工智能GPT相关知识的简单总结 背景 工作已经很久, 工作十几年来有过好多波新的技术浪潮. 但是每次都离技术前沿比较远. 最近发现只低头拉车是一个没有前途的行为. 人生很短, 选择很重要, 不仅要低 ...
- [转帖]网络传输性能netperf测试方法和下载
简介 Netperf是一种网络性能的测试工具,主要针对基于TCP或UDP的传输.Netperf根据应用的不同,可以进行不同模式的网络性能测试,即批量数据传输(bulk data transfer)模式 ...
- [转帖]overcommit_memory、overcommit_ratio、CommitLimit、Committed_AS概念
overcommit_memory.overcommit_ratio.CommitLimit.Committed_AS概念 overcommit_memory是一个内核对内存分配的一种策略. over ...
- MySQL in Windows安装以及异名恢复的简单过程
下载相关 建议获取最新版本的Mysql数据库 可以获取 zip 格式的安装文件 https://dev.mysql.com/downloads/mysql/ 或者获取 msi 格式的安装文件 http ...