本文转载自 高端存储知识

Gartner在2018年Market Insight: Preparing for the SSD Rise and HDD Demise一文中指出:当闪存介质降到HDD每GB平均销售价格(ASP)的三倍时,闪存技术通常会出现一个拐点,会加速取代HDD。



因此,Gartner预测,2023年,所有的数据中心的10,000rpm的HDD几乎都被SSD代替。Gartner建议,现在就停止在数据中心环境中使用15,000 rpm和10,000 rpm HDD技术。

而另一方面,根据IDC的预测,2025年全球的数据圈将从2018年的33ZB狂涨到175ZB。



而这大量的数据都在公有云上。这个其实也容易理解,因为随着5G的普及,以后移动网络不再是瓶颈,所有的终端设备产生的数据将大部分保存在公有云上。



如此海量的数据要保存和处理,传统的存储架构肯定是不行的(不过公有云采用传统存储的本来就不多),分布式存储,甚至是All-Flash的分布式存储,将是未来公有云的主流存储架构。

正是看到这样的趋势,华为云顺势而发,在7月初发布了云存储All-Flash战略,并推出了全新一代极速IO云硬盘。极速IO云硬盘基于华为自研的芯片,采用大量针对Flash设计的原生算法,单盘可以达到100万IOPS,时延低至100微秒以下。



相比华为云原来提供的超高IO云硬盘,极速IO云硬盘的IOPS、带宽、时延方面都有巨大的提升——特别是时延,降低了90%,使得云盘从ms时代直接进入μs时代,就像使用本地SSD盘一样。



为什么有这么大的差异呢?其实,华为云极速IO云硬盘是引擎、架构、芯片、算法、AI等多项技术融合的成果。



华为云的智能数据底座包括五个部分:引擎、架构、芯片、算法和AI,也可以概括为“两个创新+三个加持”。“两个创新”为全新Flash-Native存储引擎和全栈架构创新,而“三个加持”则是全系列自研芯片、硬核数学算法以及AI。

· 全新Flash-Native存储引擎

采用Flash友好的数据布局,实现了智能全局FTL完成全局磨损均衡,可以智能控制垃圾数据回收,大幅度减少了SSD写放大,使得SSD寿命提升5倍以上,可靠性达到了11个9。

· 全新架构创新

全栈架构创新,实现了数据IO和控制的分离,通过芯片重构数据读写,软件实现智能调度,例如网卡可以直接写数据到SSD介质,无需CPU参与;可以利用专用的ASIC芯片进行数据的EC、压缩计算,这样原有软件消耗的60%的CPU可以通过网卡、ASIC来完成,大幅度提升了整个软件的性能。

· 全系列自研芯片加持

自研CPU:华为云存储充分发挥鲲鹏920系列芯片在多核、低功耗等方面的优势,实现了免锁多核调度和高并发性能和绿色节能。鲲鹏920芯片采用了7nm的制造工艺,在典型主频下,芯片的SPECint Benchmark评分超过930分,超出业界标杆25%,能效比优于业界标杆30%。鲲鹏920芯片主频可达2.6GHz,单芯片可支持64核。该芯片集成8通道DDR4,内存带宽超出业界主流46%;芯片集成100G RoCE以太网卡功能,支持PCIe4.0及CCIX接口,可提供640Gbps总带宽,单槽位接口速率为业界主流速率的两倍;

自研网卡:RDMA网络已经成为人工智能、科学计算等高性能计算、存储业务的必备技术,华为基于自研网卡突破大规模RDMA网络拥塞控制技术,支持1万+节点规模,同时大幅降低网络拥塞,长尾时延降低30%以上。

· 硬核算法加持

EC:云存储为了应对数据从PB级向EB级演进挑战,通过存储的核心数据冗余编码技术EC算法,可根据存储集群规模自动调整冗余策略,一方面相对副本写带宽大幅提升,同时优化数据重构下的带宽,相对传统三副本冗余方式整体带宽提升3X。

为了进一步提升数据存储效率,华为全面优化了压缩算法,可以根据不同的用户数据特征进行变长及数据差量压缩,数据压缩率相对传统算法提升3倍;

SSD LDPC算法:在华为SSD存储中,华为率先引入LDPC算法(Low Density Parity Check,低密度奇偶校验),并依托华为强大的算法团队持续优化LDPC算法能力和性能,达成业界最佳纠错能力,Flash寿命最高提升5倍。

· AI加持

华为将人工智能技术融入分布式存储的全生命周期。

首先,华为云存储能够智能识别用户个性化的业务模型,进行自适应的AI调优;同时通过动态自适应QoS控制,减少多租户之间的干扰,保障租户SLA。

其次,根据业务模型和负载,智能预测性能趋势,并且根据用户提前配置的自动调整策略完成调整,免人工干预保障业务平稳。

另外,从云上大数据分析看,大部分性能波动是由于硬件故障引起的,通过AI故障预测能力,可以提前14天发现故障盘并完成自动隔离处理。

通过AI的加持,华为云可以实现对租户的IO模型和云存储系统运行状态的感知和匹配,系统可以自主调优和自我进化,让用户越用越快。

目前,华为云是业界为数不多有能力将多项技术进行整合与优化,从而提升整体服务水平的云服务提供商。其通过全栈技术能力,将所有环节进行协同与优化,最终为用户呈现出最佳的云服务。

从华为云宣传的指标来看,极速IO云硬盘非常不错,但是具体如何,还需要第三方测试一下。

至顶网评测实验室最近对华为极速IO云硬盘进行了全面的测试,我这里只选取他们测试MySQL数据库的情况。

在数据库应用测试中,至顶网选用Sysbench OLTP对华为云极速IO云硬盘与高速IO云硬盘的MySQL数据库同样进行了评测。

在测试过程中,至顶网设置了10张数据库表格,数据库的大小设置为10,000,000,测试时长为5分钟。



从上面的SysbenchOLTP测试结果可以看出,华为云极速IO云硬盘MySQL数据库应用性能可以达到每秒2万,接近2.1万transactions(20938.99 per sec)的程度。每秒万次级别的数据库调用,基本上达到各大电商大促活动时的数据库调用强度。



与华为云超高IO云硬盘数据库应用性能相比,极速IO云硬盘有一个数量级的性能提升。

鉴于华为云极速IO云硬盘的卓越性能,预计其在关系型数据库、NoSQL数据库、大数据+AI场景和云游戏及互联网应用将会被大量采用,大大提升最终用户的体验,让性能问题不再是上云的瓶颈。



也许大家都很关心,这么好的东西,到底贵不贵?我们是否负担得起?目前,华为云极速IO云硬盘还处于试用阶段,没有公布价格。不过,随着闪存价格的下降,应该会有一个较高的性价比。

感兴趣的朋友不妨先上华为云官网免费申请试用吧。

西瓜哥:公有云也“All-Flash”?的更多相关文章

  1. 在公有云AZURE上部署私有云AZUREPACK以及WEBSITE CLOUD(一)

    (一)前言 本文主要介绍了实践部署AzurePack的Website Cloud的过程.在部署之前, 首先要对AzurePack有个基本的了解.   Azure Pack是微软的私有云方案,具有弹性. ...

  2. 微软公有云Windows Azure 2014-03-26 国内正式商用

    新浪科技讯 3月27日早间消息,微软国昨天下午宣布由世纪互联负责运营的Microsoft Azure公有云服务正式商用.这是国内首个正式商用的国际公有云服务平台.而开正式开放商用,意味着任何企业现在都 ...

  3. Azure China (1) Azure公有云落地中国

    <Windows Azure Platform 系列文章目录> 微软公有云Microsoft Azure已经落地中国,官方网址:http://www.windowsazure.cn/. 在 ...

  4. Azure China (6) SAP 应用在华登陆 Windows Azure 公有云

    <Windows Azure Platform 系列文章目录>     2014年07月11日 由世纪互联运营的 Windows Azure 为 SAP 应用提供公有云平台 2014 年 ...

  5. ASP.NET 5系列教程 (四):向视图中添加服务和发布应用到公有云

    向视图中添加服务 现在,ASP.NET MVC 6 支持注入类到视图中,和VC类不同的是,对类是公开的.非嵌套或非抽象并没有限制.在这个例子中,我们创建了一个简单的类,用于统计代办事件.已完成事件和平 ...

  6. Windows Azure 微软公有云体验(三) IIS中文编码解决方案

    Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...

  7. Windows Azure 微软公有云体验(二) 存储成本比较分析

    Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...

  8. Windows Azure 微软公有云体验(一) 网站、SQL数据库、虚拟机

    Windows Azure 微软公有云已经登陆中国有一段时间了,现在是处于试用阶段,Windows Azure的使用将会给管理信息系统的开发.运行.维护带来什么样的新体验呢? Windows Azur ...

  9. 微软公有云事件中心(Azure Event Hubs)在开放物联网大会(OIOT)啼声初试

     发布于 2014-12-29 作者 刘 天栋 2014年12月18日,InfoQ在京召开开放物联网大会(Open IOT Conference),微软开放技术(中国)资深项目经理陈岭在大会中针对 ...

随机推荐

  1. [考试反思]1002csp-s模拟测试56:凌乱

    放假回来状态回升??(玩够了-但是稍困) T1打的不完全对,但是过掉了.很快的想到了二分吧喇叭啦.. 然后T2也挺快想出来了但是挂细节没发现,考试快结束的时候才发现出锅了. 改了过来是正解,但是出题人 ...

  2. [考试反思]0810NOIP模拟测试16:黎明

    好吧,你尽力啦.我不说什么啦 []200 []180 [6]170 [7]160 [11]150 [12]140 还好,和前面的差距不大.虽说没有原来最好的那段时间考得那么好,但貌似还可以接受. 这次 ...

  3. 基本数据类型(While循环,For循环,列表以及相关用法)

    正常在没有学习循环情况下,我们要输出同样的语句,需要重复打印.相当重要!!!! While循环 将输出放在一行 end=""默认是换行 print("Hello Worl ...

  4. C/C++企业链表的实现

    首先 先介绍企业链表 和Linux内核链表 和 之前我发的一篇单项链表的区别 结构体变量名是结构体的首地址吗? 这个问题会在待会链表实现中体现!! 答案:有些编译器 支持用结构体变量名做地址的方式但一 ...

  5. 因为 GitHub Actions 我发现了 Jake Wharton 的一个仓库

    本文微信公众号「AndroidTraveler」首发. 背景 昨天(2019-11-14)上去 GitHub 上面一看,结果来了个下面的提示: 点进去一看: 看来是自动化构建相关的. 那就试一下,选了 ...

  6. 201871010114-李岩松《面向对象程序设计(java)》第八周学习总结

    项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.com/nwnu-daizh/p ...

  7. 【科创人·独家】MegaEase左耳朵耗子陈皓复盘创业:第一年盈利被当骗子,线下广阔天地大有可为

    [科创人·独家]MegaEase左耳朵耗子陈皓复盘创业:第一年盈利被当骗子,线下广阔天地大有可为 原创: babayage CTO科创圈  与上百位科技创业者共同关注科创人的成长心路. 文末有彩蛋:& ...

  8. Python基础之JSON

    作用 对Python对象进行序列化,便于存储和传输 Python对象与JSON字符串相互转换 Python对象转JSON字符串 import json data = [ { 'a' : 1, 'b' ...

  9. thinkphp 获取前端传递过来的参数

    thinkphp 获取前端传递过来的参数 use think\facade\Request; // 获取当前请求的name变量 Request::param('name'); // 获取当前请求的所有 ...

  10. setState何时同步,何时异步,为什么?

    setState何时同步,何时异步,为什么 答案:在React库控制时,异步:否则同步. 示例代码如下: constructor(props){ super(porps); this.state = ...