西瓜哥:公有云也“All-Flash”?
本文转载自 高端存储知识
Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出:当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时,闪存技术通常会出现一个拐点,会加速取代HDD。
因此,Gartner预测,2023年,所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner建议,现在就停止在数据中心环境中使用15,000 rpm和10,000 rpm HDD技术。
而另一方面,根据IDC的预测,2025年全球的数据圈将从2018年的33ZB狂涨到175ZB。
而这大量的数据都在公有云上。这个其实也容易理解,因为随着5G的普及,以后移动网络不再是瓶颈,所有的终端设备产生的数据将大部分保存在公有云上。
如此海量的数据要保存和处理,传统的存储架构肯定是不行的(不过公有云采用传统存储的本来就不多),分布式存储,甚至是All-Flash的分布式存储,将是未来公有云的主流存储架构。
正是看到这样的趋势,华为云顺势而发,在7月初发布了云存储All-Flash战略,并推出了全新一代极速IO云硬盘。极速IO云硬盘基于华为自研的芯片,采用大量针对Flash设计的原生算法,单盘可以达到100万IOPS,时延低至100微秒以下。
相比华为云原来提供的超高IO云硬盘,极速IO云硬盘的IOPS、带宽、时延方面都有巨大的提升——特别是时延,降低了90%,使得云盘从ms时代直接进入μs时代,就像使用本地SSD盘一样。
为什么有这么大的差异呢?其实,华为云极速IO云硬盘是引擎、架构、芯片、算法、AI等多项技术融合的成果。
华为云的智能数据底座包括五个部分:引擎、架构、芯片、算法和AI,也可以概括为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新,而“三个加持”则是全系列自研芯片、硬核数学算法以及AI。
· 全新Flash-Native存储引擎
采用Flash友好的数据布局,实现了智能全局FTL完成全局磨损均衡,可以智能控制垃圾数据回收,大幅度减少了SSD写放大,使得SSD寿命提升5倍以上,可靠性达到了11个9。
· 全新架构创新
全栈架构创新,实现了数据IO和控制的分离,通过芯片重构数据读写,软件实现智能调度,例如网卡可以直接写数据到SSD介质,无需CPU参与;可以利用专用的ASIC芯片进行数据的EC、压缩计算,这样原有软件消耗的60%的CPU可以通过网卡、ASIC来完成,大幅度提升了整个软件的性能。
· 全系列自研芯片加持
自研CPU:华为云存储充分发挥鲲鹏920系列芯片在多核、低功耗等方面的优势,实现了免锁多核调度和高并发性能和绿色节能。鲲鹏920芯片采用了7nm的制造工艺,在典型主频下,芯片的SPECint Benchmark评分超过930分,超出业界标杆25%,能效比优于业界标杆30%。鲲鹏920芯片主频可达2.6GHz,单芯片可支持64核。该芯片集成8通道DDR4,内存带宽超出业界主流46%;芯片集成100G RoCE以太网卡功能,支持PCIe4.0及CCIX接口,可提供640Gbps总带宽,单槽位接口速率为业界主流速率的两倍;
自研网卡:RDMA网络已经成为人工智能、科学计算等高性能计算、存储业务的必备技术,华为基于自研网卡突破大规模RDMA网络拥塞控制技术,支持1万+节点规模,同时大幅降低网络拥塞,长尾时延降低30%以上。
· 硬核算法加持
EC:云存储为了应对数据从PB级向EB级演进挑战,通过存储的核心数据冗余编码技术EC算法,可根据存储集群规模自动调整冗余策略,一方面相对副本写带宽大幅提升,同时优化数据重构下的带宽,相对传统三副本冗余方式整体带宽提升3X。
为了进一步提升数据存储效率,华为全面优化了压缩算法,可以根据不同的用户数据特征进行变长及数据差量压缩,数据压缩率相对传统算法提升3倍;
SSD LDPC算法:在华为SSD存储中,华为率先引入LDPC算法(Low Density Parity Check,低密度奇偶校验),并依托华为强大的算法团队持续优化LDPC算法能力和性能,达成业界最佳纠错能力,Flash寿命最高提升5倍。
· AI加持
华为将人工智能技术融入分布式存储的全生命周期。
首先,华为云存储能够智能识别用户个性化的业务模型,进行自适应的AI调优;同时通过动态自适应QoS控制,减少多租户之间的干扰,保障租户SLA。
其次,根据业务模型和负载,智能预测性能趋势,并且根据用户提前配置的自动调整策略完成调整,免人工干预保障业务平稳。
另外,从云上大数据分析看,大部分性能波动是由于硬件故障引起的,通过AI故障预测能力,可以提前14天发现故障盘并完成自动隔离处理。
通过AI的加持,华为云可以实现对租户的IO模型和云存储系统运行状态的感知和匹配,系统可以自主调优和自我进化,让用户越用越快。
目前,华为云是业界为数不多有能力将多项技术进行整合与优化,从而提升整体服务水平的云服务提供商。其通过全栈技术能力,将所有环节进行协同与优化,最终为用户呈现出最佳的云服务。
从华为云宣传的指标来看,极速IO云硬盘非常不错,但是具体如何,还需要第三方测试一下。
至顶网评测实验室最近对华为极速IO云硬盘进行了全面的测试,我这里只选取他们测试MySQL数据库的情况。
在数据库应用测试中,至顶网选用Sysbench OLTP对华为云极速IO云硬盘与高速IO云硬盘的MySQL数据库同样进行了评测。
在测试过程中,至顶网设置了10张数据库表格,数据库的大小设置为10,000,000,测试时长为5分钟。
从上面的SysbenchOLTP测试结果可以看出,华为云极速IO云硬盘MySQL数据库应用性能可以达到每秒2万,接近2.1万transactions(20938.99 per sec)的程度。每秒万次级别的数据库调用,基本上达到各大电商大促活动时的数据库调用强度。
与华为云超高IO云硬盘数据库应用性能相比,极速IO云硬盘有一个数量级的性能提升。
鉴于华为云极速IO云硬盘的卓越性能,预计其在关系型数据库、NoSQL数据库、大数据+AI场景和云游戏及互联网应用将会被大量采用,大大提升最终用户的体验,让性能问题不再是上云的瓶颈。
也许大家都很关心,这么好的东西,到底贵不贵?我们是否负担得起?目前,华为云极速IO云硬盘还处于试用阶段,没有公布价格。不过,随着闪存价格的下降,应该会有一个较高的性价比。
感兴趣的朋友不妨先上华为云官网免费申请试用吧。
西瓜哥:公有云也“All-Flash”?的更多相关文章
- 在公有云AZURE上部署私有云AZUREPACK以及WEBSITE CLOUD(一)
(一)前言 本文主要介绍了实践部署AzurePack的Website Cloud的过程.在部署之前, 首先要对AzurePack有个基本的了解. Azure Pack是微软的私有云方案,具有弹性. ...
- 微软公有云Windows Azure 2014-03-26 国内正式商用
新浪科技讯 3月27日早间消息,微软国昨天下午宣布由世纪互联负责运营的Microsoft Azure公有云服务正式商用.这是国内首个正式商用的国际公有云服务平台.而开正式开放商用,意味着任何企业现在都 ...
- Azure China (1) Azure公有云落地中国
<Windows Azure Platform 系列文章目录> 微软公有云Microsoft Azure已经落地中国,官方网址:http://www.windowsazure.cn/. 在 ...
- Azure China (6) SAP 应用在华登陆 Windows Azure 公有云
<Windows Azure Platform 系列文章目录> 2014年07月11日 由世纪互联运营的 Windows Azure 为 SAP 应用提供公有云平台 2014 年 ...
- ASP.NET 5系列教程 (四):向视图中添加服务和发布应用到公有云
向视图中添加服务 现在,ASP.NET MVC 6 支持注入类到视图中,和VC类不同的是,对类是公开的.非嵌套或非抽象并没有限制.在这个例子中,我们创建了一个简单的类,用于统计代办事件.已完成事件和平 ...
- Windows Azure 微软公有云体验(三) IIS中文编码解决方案
Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...
- Windows Azure 微软公有云体验(二) 存储成本比较分析
Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...
- Windows Azure 微软公有云体验(一) 网站、SQL数据库、虚拟机
Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...
- 微软公有云事件中心(Azure Event Hubs)在开放物联网大会(OIOT)啼声初试
发布于 2014-12-29 作者 刘 天栋 2014年12月18日,InfoQ在京召开开放物联网大会(Open IOT Conference),微软开放技术(中国)资深项目经理陈岭在大会中针对 ...
随机推荐
- [考试反思]1002csp-s模拟测试56:凌乱
放假回来状态回升??(玩够了-但是稍困) T1打的不完全对,但是过掉了.很快的想到了二分吧喇叭啦.. 然后T2也挺快想出来了但是挂细节没发现,考试快结束的时候才发现出锅了. 改了过来是正解,但是出题人 ...
- [考试反思]0810NOIP模拟测试16:黎明
好吧,你尽力啦.我不说什么啦 []200 []180 [6]170 [7]160 [11]150 [12]140 还好,和前面的差距不大.虽说没有原来最好的那段时间考得那么好,但貌似还可以接受. 这次 ...
- 基本数据类型(While循环,For循环,列表以及相关用法)
正常在没有学习循环情况下,我们要输出同样的语句,需要重复打印.相当重要!!!! While循环 将输出放在一行 end=""默认是换行 print("Hello Worl ...
- C/C++企业链表的实现
首先 先介绍企业链表 和Linux内核链表 和 之前我发的一篇单项链表的区别 结构体变量名是结构体的首地址吗? 这个问题会在待会链表实现中体现!! 答案:有些编译器 支持用结构体变量名做地址的方式但一 ...
- 因为 GitHub Actions 我发现了 Jake Wharton 的一个仓库
本文微信公众号「AndroidTraveler」首发. 背景 昨天(2019-11-14)上去 GitHub 上面一看,结果来了个下面的提示: 点进去一看: 看来是自动化构建相关的. 那就试一下,选了 ...
- 201871010114-李岩松《面向对象程序设计(java)》第八周学习总结
项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p ...
- 【科创人·独家】MegaEase左耳朵耗子陈皓复盘创业:第一年盈利被当骗子,线下广阔天地大有可为
[科创人·独家]MegaEase左耳朵耗子陈皓复盘创业:第一年盈利被当骗子,线下广阔天地大有可为 原创: babayage CTO科创圈 与上百位科技创业者共同关注科创人的成长心路. 文末有彩蛋:& ...
- Python基础之JSON
作用 对Python对象进行序列化,便于存储和传输 Python对象与JSON字符串相互转换 Python对象转JSON字符串 import json data = [ { 'a' : 1, 'b' ...
- thinkphp 获取前端传递过来的参数
thinkphp 获取前端传递过来的参数 use think\facade\Request; // 获取当前请求的name变量 Request::param('name'); // 获取当前请求的所有 ...
- setState何时同步,何时异步,为什么?
setState何时同步,何时异步,为什么 答案:在React库控制时,异步:否则同步. 示例代码如下: constructor(props){ super(porps); this.state = ...