西瓜哥:公有云也“All-Flash”?
本文转载自 高端存储知识
Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出:当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时,闪存技术通常会出现一个拐点,会加速取代HDD。
因此,Gartner预测,2023年,所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner建议,现在就停止在数据中心环境中使用15,000 rpm和10,000 rpm HDD技术。
而另一方面,根据IDC的预测,2025年全球的数据圈将从2018年的33ZB狂涨到175ZB。
而这大量的数据都在公有云上。这个其实也容易理解,因为随着5G的普及,以后移动网络不再是瓶颈,所有的终端设备产生的数据将大部分保存在公有云上。
如此海量的数据要保存和处理,传统的存储架构肯定是不行的(不过公有云采用传统存储的本来就不多),分布式存储,甚至是All-Flash的分布式存储,将是未来公有云的主流存储架构。
正是看到这样的趋势,华为云顺势而发,在7月初发布了云存储All-Flash战略,并推出了全新一代极速IO云硬盘。极速IO云硬盘基于华为自研的芯片,采用大量针对Flash设计的原生算法,单盘可以达到100万IOPS,时延低至100微秒以下。
相比华为云原来提供的超高IO云硬盘,极速IO云硬盘的IOPS、带宽、时延方面都有巨大的提升——特别是时延,降低了90%,使得云盘从ms时代直接进入μs时代,就像使用本地SSD盘一样。
为什么有这么大的差异呢?其实,华为云极速IO云硬盘是引擎、架构、芯片、算法、AI等多项技术融合的成果。
华为云的智能数据底座包括五个部分:引擎、架构、芯片、算法和AI,也可以概括为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新,而“三个加持”则是全系列自研芯片、硬核数学算法以及AI。
· 全新Flash-Native存储引擎
采用Flash友好的数据布局,实现了智能全局FTL完成全局磨损均衡,可以智能控制垃圾数据回收,大幅度减少了SSD写放大,使得SSD寿命提升5倍以上,可靠性达到了11个9。
· 全新架构创新
全栈架构创新,实现了数据IO和控制的分离,通过芯片重构数据读写,软件实现智能调度,例如网卡可以直接写数据到SSD介质,无需CPU参与;可以利用专用的ASIC芯片进行数据的EC、压缩计算,这样原有软件消耗的60%的CPU可以通过网卡、ASIC来完成,大幅度提升了整个软件的性能。
· 全系列自研芯片加持
自研CPU:华为云存储充分发挥鲲鹏920系列芯片在多核、低功耗等方面的优势,实现了免锁多核调度和高并发性能和绿色节能。鲲鹏920芯片采用了7nm的制造工艺,在典型主频下,芯片的SPECint Benchmark评分超过930分,超出业界标杆25%,能效比优于业界标杆30%。鲲鹏920芯片主频可达2.6GHz,单芯片可支持64核。该芯片集成8通道DDR4,内存带宽超出业界主流46%;芯片集成100G RoCE以太网卡功能,支持PCIe4.0及CCIX接口,可提供640Gbps总带宽,单槽位接口速率为业界主流速率的两倍;
自研网卡:RDMA网络已经成为人工智能、科学计算等高性能计算、存储业务的必备技术,华为基于自研网卡突破大规模RDMA网络拥塞控制技术,支持1万+节点规模,同时大幅降低网络拥塞,长尾时延降低30%以上。
· 硬核算法加持
EC:云存储为了应对数据从PB级向EB级演进挑战,通过存储的核心数据冗余编码技术EC算法,可根据存储集群规模自动调整冗余策略,一方面相对副本写带宽大幅提升,同时优化数据重构下的带宽,相对传统三副本冗余方式整体带宽提升3X。
为了进一步提升数据存储效率,华为全面优化了压缩算法,可以根据不同的用户数据特征进行变长及数据差量压缩,数据压缩率相对传统算法提升3倍;
SSD LDPC算法:在华为SSD存储中,华为率先引入LDPC算法(Low Density Parity Check,低密度奇偶校验),并依托华为强大的算法团队持续优化LDPC算法能力和性能,达成业界最佳纠错能力,Flash寿命最高提升5倍。
· AI加持
华为将人工智能技术融入分布式存储的全生命周期。
首先,华为云存储能够智能识别用户个性化的业务模型,进行自适应的AI调优;同时通过动态自适应QoS控制,减少多租户之间的干扰,保障租户SLA。
其次,根据业务模型和负载,智能预测性能趋势,并且根据用户提前配置的自动调整策略完成调整,免人工干预保障业务平稳。
另外,从云上大数据分析看,大部分性能波动是由于硬件故障引起的,通过AI故障预测能力,可以提前14天发现故障盘并完成自动隔离处理。
通过AI的加持,华为云可以实现对租户的IO模型和云存储系统运行状态的感知和匹配,系统可以自主调优和自我进化,让用户越用越快。
目前,华为云是业界为数不多有能力将多项技术进行整合与优化,从而提升整体服务水平的云服务提供商。其通过全栈技术能力,将所有环节进行协同与优化,最终为用户呈现出最佳的云服务。
从华为云宣传的指标来看,极速IO云硬盘非常不错,但是具体如何,还需要第三方测试一下。
至顶网评测实验室最近对华为极速IO云硬盘进行了全面的测试,我这里只选取他们测试MySQL数据库的情况。
在数据库应用测试中,至顶网选用Sysbench OLTP对华为云极速IO云硬盘与高速IO云硬盘的MySQL数据库同样进行了评测。
在测试过程中,至顶网设置了10张数据库表格,数据库的大小设置为10,000,000,测试时长为5分钟。
从上面的SysbenchOLTP测试结果可以看出,华为云极速IO云硬盘MySQL数据库应用性能可以达到每秒2万,接近2.1万transactions(20938.99 per sec)的程度。每秒万次级别的数据库调用,基本上达到各大电商大促活动时的数据库调用强度。
与华为云超高IO云硬盘数据库应用性能相比,极速IO云硬盘有一个数量级的性能提升。
鉴于华为云极速IO云硬盘的卓越性能,预计其在关系型数据库、NoSQL数据库、大数据+AI场景和云游戏及互联网应用将会被大量采用,大大提升最终用户的体验,让性能问题不再是上云的瓶颈。
也许大家都很关心,这么好的东西,到底贵不贵?我们是否负担得起?目前,华为云极速IO云硬盘还处于试用阶段,没有公布价格。不过,随着闪存价格的下降,应该会有一个较高的性价比。
感兴趣的朋友不妨先上华为云官网免费申请试用吧。
西瓜哥:公有云也“All-Flash”?的更多相关文章
- 在公有云AZURE上部署私有云AZUREPACK以及WEBSITE CLOUD(一)
(一)前言 本文主要介绍了实践部署AzurePack的Website Cloud的过程.在部署之前, 首先要对AzurePack有个基本的了解. Azure Pack是微软的私有云方案,具有弹性. ...
- 微软公有云Windows Azure 2014-03-26 国内正式商用
新浪科技讯 3月27日早间消息,微软国昨天下午宣布由世纪互联负责运营的Microsoft Azure公有云服务正式商用.这是国内首个正式商用的国际公有云服务平台.而开正式开放商用,意味着任何企业现在都 ...
- Azure China (1) Azure公有云落地中国
<Windows Azure Platform 系列文章目录> 微软公有云Microsoft Azure已经落地中国,官方网址:http://www.windowsazure.cn/. 在 ...
- Azure China (6) SAP 应用在华登陆 Windows Azure 公有云
<Windows Azure Platform 系列文章目录> 2014年07月11日 由世纪互联运营的 Windows Azure 为 SAP 应用提供公有云平台 2014 年 ...
- ASP.NET 5系列教程 (四):向视图中添加服务和发布应用到公有云
向视图中添加服务 现在,ASP.NET MVC 6 支持注入类到视图中,和VC类不同的是,对类是公开的.非嵌套或非抽象并没有限制.在这个例子中,我们创建了一个简单的类,用于统计代办事件.已完成事件和平 ...
- Windows Azure 微软公有云体验(三) IIS中文编码解决方案
Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...
- Windows Azure 微软公有云体验(二) 存储成本比较分析
Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...
- Windows Azure 微软公有云体验(一) 网站、SQL数据库、虚拟机
Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...
- 微软公有云事件中心(Azure Event Hubs)在开放物联网大会(OIOT)啼声初试
发布于 2014-12-29 作者 刘 天栋 2014年12月18日,InfoQ在京召开开放物联网大会(Open IOT Conference),微软开放技术(中国)资深项目经理陈岭在大会中针对 ...
随机推荐
- 零基础小白入门IT开发指南
先自我介绍以下,本人是一枚刚毕业不到两年的某一线城市的程序员,本科阶段专业是计算机科学与技术.从大四开始出去实习到现在的编码经验也有快2年半了,两年半的时间包括实习在内任职过有4家公司,包括一家互联网 ...
- Java学习总结之基本数据类型
Java的数据类型分为基本数据类型和引用数据类型, 今天总结的是基本数据类型.在Java中,一共有八种基本数据类型,分别为整数类型(byte,short,int,long).浮点类型(float,do ...
- C++ 11新标准实现POJ No.1001-Exponentiation
Exponentiation(高精度幂计算)(标签:链表,字符串,快速幂计算) 题目描述 对数值很大.精度很高的数进行高精度计算是一类十分常见的问题.比如,对国债进行计算就是属于这类问题. 现在要你解 ...
- HTMLTestRunner加入logging输出
使用HTMLTestRunner生成html的测试报告的时候,报告中只有console输出,logging的输出无法保存, 如果要在报告中加入每一个测试用例执行的logging信息,则需要改HTMLT ...
- Java ->在mybatis和PostgreSQL Json字段作为查询条件的解决方案
Date:2019-11-15 读前思考: 你没想到解决办法? PostgreSQL 数据库本身就支持还是另有解决办法? 说明:首先这次数据库使用到Json数据类型的原因,这次因为我们在做了一个app ...
- python——多线程
多线程特点: • 线程的并发是利用cpu上下文的切换(是并发,不是并行) • 多线程执行的顺序是无序的 • 多线程共享全局变量 • 线程是继承在进程里的,没有进程就没有线程 • GIL全局解释器锁 • ...
- iOS定位--CoreLocation
一:导入框架 #import <CoreLocation/CoreLocation.h> 二:设置代理及属性 <CLLocationManagerDelegate> @prop ...
- nginx+uWSGI+django+virtualenv+superviso发布web服务器
1.环境依赖 yum groupinstall "Development tools" -y yum install zlib-devel bzip2-devel pcre-dev ...
- 一分钟带你了解下MyBatis的动态SQL!
MyBatis的强大特性之一便是它的动态SQL,以前拼接的时候需要注意的空格.列表最后的逗号等,现在都可以不用手动处理了,MyBatis采用功能强大的基于OGNL的表达式来实现,下面主要介绍下. 一. ...
- 设置 DNS 服务器转发试验
一.主节点的配置 1.yum install bind -y 安装 DNS 服务 2.vim /etc/named.conf 编辑 DNS 的配置文件 3. vim /etc/named.rfc191 ...