云数据库HBase免费申请地址https://cn.aliyun.com/product/hbase

引言

从有线互联网到无线互联网,本质是加强了人与人之间随时随地的关联。下一个互联的时代是万物互联,也就是物联网。有人说,这个是第三次信息革命,不管咋样,这都会产生大量的数据。
举一个例子,杭州市有200w辆汽车(具体肯定比这个多),我们给每辆车安装一个传感器,每隔10s,上传1k的数据量,说明这个车的位置,一些情况。QPS为20w,1年的数据量为:365*360*24*200w*1k=5.73P ,如果不做任何的容灾,每个磁盘4T来算,则需要 5.73*1024/4T=1466块磁盘,做一些容灾,则至少需要2000+的磁盘。这些数据蕴含着巨大的价值,分析这些数据后,则会改变整个杭州的交通。

架构

在我们传统架构下,一般会使用关系型数据库,关系型数据库索引结构基本上都是类B+树,随着终端设备数增多,读写压力剧增,读写延迟增大,数据库面临崩溃;其次,关系型数据库也无法做到存储容量无限扩容,目前有一些分库分表的方案,实现起来比较复杂,往往有较多的限制。

物联网最大的特点写入量大,要求延迟低,且数据存量巨大。HBase基于LSM,把磁盘的随机写改为顺序写,写吞吐高,不受SSD随机写入放大干扰,也不受空间放大的干扰。目前HBase非常满足物联网存储需求,存储数T、数P甚至百P的空间,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。具体物理网的大致结构如下:

主要流程:
1、一部分实时,直接走MQ,到流式系统,做一些实时的分析,后写入HBase。
2、一部分写入HBase,一般是全量数据,后接入Hadoop/Spark,做一些离线分析,后续结果写入HBase中。
往往在使用HBase时,使用的rowkey设计是:设备ID+地点+xxx+时间xxx

每个云公司,都在前端的一些环节做了很多事情,比如提供硬件支持、协议支持、ECS可以使用一些弹性方案,当然也有不少公司是自己做方案。
针对数据从云HBase到EMR Hadoop/Spark中,目前有两种方案,其一是Hadoop、Spark直接连接云HBase分析;其二是云HBase提供一些导出数据的功能,在EMR中自动生成一张表(目前云HBase在实现中)。

云数据库HBase免费申请地址https://cn.aliyun.com/product/hbase

云数据库HBase助力物联网,免费申请中的更多相关文章

  1. 选择阿里云数据库HBase版十大理由

    根据Gartner的预计,全球非关系型数据库(NoSQL)在2020~2022预计保持在30%左右高速增长,远高于数据库整体市场. 阿里云数据库HBase版也是踏着技术发展的节奏,伴随着NoSQL和大 ...

  2. 什么是云数据库 HBase 版

    云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 的一个分布式数据库,支持海量的PB级的大数据存储,适用于高吞吐的随机读写的场景.目前在阿里内部有数百个集群,100 ...

  3. 阿里云数据库RDS迁移,DTS 迁移过程中,是否会锁表,对源数据库是否有影响?

    阿里云数据库RDS迁移,DTS 迁移过程中,是否会锁表,对源数据库是否有影响? DTS 在进行全量数据迁移和增量数据迁移的过程中,均不会对源端数据库进行锁表,因此在全量数据迁移和增量数据迁移的过程中, ...

  4. 京东云数据库 RDS助力企业便捷运维

    iPhone6发布那年,京东在国贸等商圈送货最快速度数分钟,包括从下单到送达.这是一个极端的富含营销因素例子.即便如此,常态来看,隔天到货的这种业务模式,也是基于同样的支撑:营销业务.物流业务,大数据 ...

  5. 充满含金量的一场云原生Meetup,入场券免费发送中……

    在武汉,你离这场云原生盛会,只有一步之遥 华为云.百度.斗鱼.海云基因,五位重量级专家 K8s调度.深度学习平台.斗鱼实战.基因大数据-五个干货议题 日,与您相约Cloud Native Days C ...

  6. 阿里云服务器云数据库免费体验(Java Web详细实例)

    一.效果展示 博主部署了两个war包到阿里云服务器上,一个是没有连接数据库的,另外一个是连接了数据库的. (由于阿里云服务器免费使用15天,下面链接约2016年3月9日后无效) (1)无数据库版访问地 ...

  7. 阿里云免费申请免费SSL证书

    随着互联网的不断进步与发展,对于网站与数据的安全性要求也越来越高,原本的HTTP明文传输已经不被信任,https逐渐被关注,从谷歌.火狐浏览器将对HTTP明文页面标记"不安全",到 ...

  8. 免费|申请谷歌云服务器|msf安装

    apt-get install -y wget 参考链接 知乎-免费|申请谷歌云服务器 知乎-免费|申请谷歌云服务器 cnblogs-debian.ubuntu安装metasploit通用方法 谷歌云 ...

  9. 腾讯云数据库团队:phpMyAdmin中sql-parser组件的使用

    phpMyAdmin是一款基于Web端运行的开源数据库管理工具,支持管理MySQL和MariaDB两种数据库. phpMyAdmin的程序主要使用php和javascript开发,它的安装使用都比较简 ...

随机推荐

  1. django 高级

    1.使用form: django的form提供了统一的结构化的后台验证机制,错误信息,也容易展现在前台界面上.由于python的面向对象,使得编写html也能够代码复用. a.多个field 综合验证 ...

  2. (转)Python 字符串

    原文:http://www.runoob.com/python/python-strings.html

  3. (转)防止人为误操作MySQL数据库技巧一例

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://oldboy.blog.51cto.com/2561410/1321061 防止人 ...

  4. docker registry push错误“server gave HTTP response to HTTPS client”

    系统环境:centos7 docker版本: 1.12.3(注意版本,可能存在不同版本设置不同的情况) docker registry版本:2.4.1 问题: 成功安装docker registry, ...

  5. 杂记---Mongo的Invalid BSON field name $gte

    1.前言 这几天使用mongo的时候遇到了一个异常:Invalid BSON field name $gte,该问题可能会有很多小伙伴会遇到,因此记录一下解决过程.起因是用JAVA翻译一个其他语言写的 ...

  6. java验证码工具

    工具类: package com.lhy.web.servlet; import java.awt.BasicStroke; import java.awt.Color; import java.aw ...

  7. PHP 修改目录下所有与文件夹重名的前缀文件为index.后缀

    <?phpset_time_limit(0); function traverse($path = '.' , $dir_name='') { $current_dir = opendir($p ...

  8. elasticsearch(一):安装与配置

    一.elastic search的安装与配置 1.安装Java 并且配置JAVA_HOME环境变量. 2.下载elasticsearch,下载地址:https://www.elastic.co/dow ...

  9. Spring中使用两种Aware接口自定义获取bean

    在使用spring编程时,常常会遇到想根据bean的名称来获取相应的bean对象,这时候,就可以通过实现BeanFactoryAware来满足需求,代码很简单: @Servicepublic clas ...

  10. awk去重以某列重复的行

    [root@localhost cc]# cat 2.txt adc 3 5 a d aa 3 adfa d ba 3 adf 去重第一列重复的行: [root@localhost cc]# cat ...