9月6日,天翼云与科技媒体InfoQ联合举办的以“存储难题新解法,揭秘极/致易用的HBlock”为主题的线上技术分享会圆满落幕。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮以“天翼云存储资源盘活系统 HBlock,深挖独创技术亮点与实战演练”为主题,分享了HBlock在安装部署、数据可靠性和安全性保障、混沌测试与性能分析等内容。

安装部署超易用,打造企业数据存储底座

随着数字经济的蓬勃发展,数据作为核心生产要素,已成为数字经济发展的重要基石。与此同时,数据规模持续爆炸性增长,数据类型不断丰富,企业对数据处理与分析速度要求越来越高,带来了一系列存储的新挑战。

尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,同时满足安全可靠、高性能、方便易用、降本增效等需求并不容易。在天翼云最新发布的存储资源盘活系统HBlock中,我们看到了分布式存储的全新“解题思路”。

作为天翼云自主研发的业内第一款全用户态的软件定义存储产品,HBlock采用极简设计模式,相比于传统存储存在建设周期长、安装部署复杂、扩容难等问题,HBlock安装包只有170MB左右,可安装在任何主流Linux操作系统上,不依赖于NTP服务器,3个命令行完成安装部署,3分钟即可建立数据中心级别集群,大幅降低安装部署门槛,同时可以按需扩容,为用户带来极佳的使用体验。

与传统存储软硬一体的模式不同,HBlock对底层基础设施完全解耦,可以适配存量异构服务器环境,解决了硬件兼容性问题,可将X86、ARM、龙芯等不同架构服务器上的存储资源进行统一管理,转换成高性能的虚拟存储阵列,通过标准iSCSI协议提供分布式块存储服务。

高可用技术架构,保障企业数据安全

通常,人们认为传统集中式存储的软硬件结合模式才具有极高的可用性,HBlock用出色的技术架构在纯软件上实现了令人刮目相看的高可用性。HBlock基于MPIO的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。

针对不同容量、不同性能表现、不同负载的节点及磁盘组成的集群,数据应当如何分布,由HBlock的多因子权重算法来决定:针对空间总量、使用量、使用率的空间因子;针对读写并发数、内存、磁盘负载的负载因子;针对时延、带宽的网络因子。三种因子通过综合计算得出总体权重,用来确定数据存放的节点或磁盘,充分发挥各个部件的性能,同时可避免性能差、负载高的节点及磁盘成为性能瓶颈。

HBlock还通过灵活的QoS(Quality of Service,服务质量)特性来保障读写的服务质量。在空间和内存紧张时,会触发一个平滑的降速,同时在管理侧通过告警、系统事件、发邮件等方式通知管理员人为干预,这样可以避免存储资源耗尽导致业务突然中断的问题。HBlock具有读写分离控制的机制,对于不同的资源,降速的请求是不一样的,空间紧张时降低写速度,内存紧张时同时降低读写速度。扩容后,由多因子权重算法决策平衡方案,负载向新节点倾斜,可灵活配置业务优先或数据恢复优先策略,满足不同需求场景。

HBlock可以设置节点或磁盘级别的故障域,每个存储卷都可以选择纠删码或副本等不同的冗余方式。可以检测数据静默错误,保障数据完整性。另外,HBlock是面向混沌环境的设计的,在各种弱电(电源不稳定、时钟抖动、CPU降速)、弱盘(老化降速、读写失败)、弱网(网卡降速、丢包、错包)等情况下,通过分布式租约、实时感知故障、多因子空间分配、坏盘后快速重构等技术手段确保数据不丢。

高性能实战表现,激活企业数据潜力

HBlock的存储性能表现优异,单卷IOPS可达15万次、读写延迟200微秒的性能表现完全能够胜任多种业务场景的性能需求,并支持1024节点弹性扩展和PB级存储资源池。HBlock之所有具有如此出色的性能,要归功于领先的分布式多控制器架构和智能调度算法,通过多模式写缓存与读缓存的设计来实现高性能。

HBlock具有WriteBack、WriteThrough、WriteAround三种写缓存模式,可以根据不同场景的读写需求来动态调整;同时,HBlock会根据网络距离和节点负载选择最合适的节点,将数据放在缓存中,避免对磁盘频繁的小IO操作,更好地发挥存储介质的性能。

通过与开源Ceph的对比测试发现,在1MB大IO、三副本读写的场景下,HBlock读带宽300多兆,写带宽350多兆,是Ceph的2倍以上。随机读、随机写的带宽也是Ceph的1倍以上。用4K小IO进行读写,HBlock性能表现有更突出的优势,单线程读写场景下HBlock的读、写、随机写性能均为是Ceph的3-5倍。即使是在32个并发的场景下,HBlock的性能也是Ceph的1-2倍。而EC更是HBlock的优势领域,用EC2+1模式代替三副本模式,HBlock的性能可以达到Ceph的5倍以上,在空间使用率方面,得盘率由33.3%翻倍,达到66.7%,可在提升性能的同时显著降低存储成本。

天翼云存储资源盘活系统HBlock,全面释放企业数据价值的更多相关文章

  1. 忽然有一种感觉:云存储必须从系统级定制,所以必须对Linux相当熟悉。Windows下开发软件的模式已经过时了

    看了诸多招聘帖子以后的感觉- 工作内容: .存储相关产品的设计.开发和维护. .Linux系统应用程序研发. .主流Linux内核文件系统研发. .自动化测试框架和工具的研发. 职位要求: .计算机相 ...

  2. 华为云MRS支持lakeformation能力,打造一站式湖仓,释放数据价值

    摘要:对云端用户而言,业务价值发现是最重要的,华为MRS支持LakeFormation后,成功降低了数据应用的成本,帮助客户落地"存"与"算"的管理,加快推进了 ...

  3. 云方案,依托H3C彩虹云存储架构,结合UIA统一认证系统,实现了用户数据的集中存储和管理

    客户的声音 资料云项目在迷你云基础上二次开发,通过使用云存储技术及文件秒传技术,对文件进行统一存储与管理,以达到节约文件管理成本.存储成本目的:通过有效的文件版本控制机制,以达到风险管控的目的:通过多 ...

  4. 混合云存储打开的正确姿势——腾讯云存储网关 CSG

    近年来,随着云计算的发展,越来越多的企业选择将IT系统基础设施转移到云上,上云有助于推动企业加快信息化.数字化.智能化的转型,但是很多企业对传统的业务系统依赖程度较高,短时间内将业务迁移上云将会面临很 ...

  5. 玩转云端 | 算力基础设施升级,看天翼云紫金DPU显身手!

    数字时代下,算力成为新的核心生产力,传统以CPU为核心的架构难以满足新场景下快速增长的算力需求,具备软硬加速能力的DPU得以出现并快速发展.天翼云凭借领先的技术和丰富的应用实践自研紫金DPU,打造为云 ...

  6. openstack-swift云存储部署(一)

    最近因为工作的需要搭建了一套swift云存储架构 我们先来解读一下里面的技术知识点:swift服务是属于openstack中的一种组件服务,openstack中的组件服务还有keystone.Nova ...

  7. java servlet手机app访问接口(三)高德地图云存储及检索

    这篇关于高德地图的随笔内容会多一点, 一.业务说明     对应APP业务中的成员有两类,一是服务人员,二是被服务人员,  主要实现功能, 对APP中的服务人员位置进行时时定位, 然后通过被服务人员登 ...

  8. 自建存储与使用微软Azure、七牛等第三方云存储综合考察分析

    http://www.cnblogs.com/sennly/p/4136734.html 各种云服务这两年炒的火热,加之可以降低成本,公司想先在部分业务上尝试使用下,刚好最近有个项目有大量小文件需要存 ...

  9. 腾讯云VS AWS :云存储网关性能谁更优?

    p { text-indent: 2em }    随着企业规模的扩大及业务的扩展,现有IT基础设施特别是存储设备无法满足爆炸性的数据增长,企业 IT 部门为了解决该问题,往往面临市场上多种存储产品及 ...

  10. 深度解读阿里巴巴云原生镜像分发系统 Dragonfly

    Dragonfly 是一个由阿里巴巴开源的云原生镜像分发系统,主要解决以 Kubernetes 为核心的分布式应用编排系统的镜像分发难题.随着企业数字化大潮的席卷,行业应用纷纷朝微服务架构演进,并通过 ...

随机推荐

  1. Java深度历险(六)——Java注解——(七)——Java反射与动态代理

    在开发Java程序,尤其是Java EE应用的时候,总是免不了与各种配置文件打交道.以Java EE中典型的S(pring)S(truts)H(ibernate)架构来说,Spring.Struts和 ...

  2. python之pyexecjs

    pyexecjs是一个用Python来执行JavaScript代码的工具库,该库支持多种JavaScript运行时环境,如Node.js.PhantomJS.SlimerJS等,允许开发者在Pytho ...

  3. 【FAQ】HarmonyOS SDK 闭源开放能力 —Push Kit(6)

    1.问题描述: 推送通知到手机,怎么配置拉起应用指定的页面? 解决方案: 1.如果点击通知栏打开默认Ability的话, actionType可以设置为0, 同时可以在.clickAction.dat ...

  4. Caused by: org.gradle.api.internal.plugins.PluginApplicationException: Faile

    解决方法: 1.新建一个安卓应用,复制下面路径红色框的代码  去替换  导入应用中的代码,就是修改gradle版本: 2.在导入的应用中如下路径添加信息 代码: android.overridePat ...

  5. 自底向上的语法分析,闭包、GOTO函数

    自底向上的语法分析 一.一个串ω归约(reduction)为文法开始符号的过程 关键问题: 1.何时进行规约,2.用哪个产生式规约 句柄右边的串ω一定只包含终结符号. 如果文法是无二义性的,那么文法的 ...

  6. C#/.NET/.NET Core技术前沿周刊 | 第 16 期(2024年12.01-12.08)

    前言 C#/.NET/.NET Core技术前沿周刊,你的每周技术指南针!记录.追踪C#/.NET/.NET Core领域.生态的每周最新.最实用.最有价值的技术文章.社区动态.优质项目和学习资源等. ...

  7. Anaconda功能、优点、安装步骤(安装视频)

    目录 介绍 功能(包和环境的管理器) 优点(省时省心) 下载地址 安装教程 要点 conda 的常见命令 查询完整帮助文件 管理conda和anaconda 管理环境 包管理 其他 ​ 介绍 Anac ...

  8. Netty系列之Netty安全性

    1.1. 严峻的安全形势 1.1.1. OpenSSL Heart bleed漏洞 2014年上半年对网络安全影响最大的问题就是OpenSSL Heart bleed漏洞,来自Codenomicon和 ...

  9. Qt/C++离线地图的加载和交互/可以离线使用/百度和天地图离线/支持手机上运行

    一.前言说明 在地图应用中,有很多时候是需要断网环境中离线使用的,一般会采用两种做法,一种是只下载好离线瓦片地图,然后根据不同的缩放和经纬度坐标绘制瓦片.这种方式优点是任何地图都支持,只需要拿到瓦片即 ...

  10. Qt编写视频监控系统78-视频推流到流媒体服务器

    一.前言 视频推流作为独立的模块,目前并没有集成到视频监控系统中,目前是可以搭配监控系统一起使用,一般是将添加好的摄像头通道视频流地址打开后,读取视频流重新推到流媒体服务器,然后第三方可以从流媒体服务 ...