Ceph分层存储分析

【Ceph分层存储分析】的更多相关文章

最近弄Ceph集群考虑要不要加入分层存储因此花了点时间研究了下 1,首先肯定要弄清Ceph分层存储的结构 ,结构图大概就是下图所示缓存层(A cache tier)为Ceph客户端提供更好的I/O性能,而数据存储在存储层(a backing storage tier).用相对快速/昂贵的设备(比如SSD)创建pool作为缓存层(A cache tier),用纠删码池或者相对慢速/便宜的设备创建pool作为经济的存储池.Ceph(The Ceph objecter)负责对象存放的位置,分层代理…

Ceph的Block分析

一个块是一个连续的字节序列(例如一个512字节的连续数据是一个块).基于块的存储接口通常是旋转介质,例如磁盘.光盘.软盘等.块设备接口的普及使得可以用虚拟的块设备成为和大容量数据存储系统交互的接口,如Ceph这样的系统. 注意:内核模块可以使用Linux页缓存. 对于基于librbd的应用,Ceph支持RBD缓存. Ceph的块设备可以在为Linux的内核,KVM虚拟机,以及像OpenStack和CloudStack这种使用libvirt的云计算平台提供高性能和无限可扩展的的存储.Ceph支持在…

腾讯云存储专家深度解读基于Ceph对象存储的混合云机制

背景毫无疑问,乘着云计算发展的东风,Ceph已经是当今最火热的软件定义存储开源项目.如下图所示,它在同一底层平台之上可以对外提供三种存储接口,分别是文件存储.对象存储以及块存储,本文主要关注的是对象存储即radosgw. 基于Ceph可方便快捷地搭建安全性好.可用性高.扩展性好的私有化存储平台.私有化存储平台虽然以其安全性的优势受到越来越多的关注,但私有化存储平台也存在诸多弊端. 例如在如下场景中,某跨国公司需要在国外访问本地的业务数据,我们该如何支持这种远距离的数据访问需求呢.如果仅仅是在私…

Linux 下的两种分层存储方案

背景介绍随着固态存储技术 (SSD),SAS 技术的不断进步和普及,存储介质的种类更加多样,采用不同存储介质和接口的存储设备的性能出现了很大差异.SSD 相较于传统的机械硬盘,由于没有磁盘的机械转动,寻址速度大大提高,尤其在随机读写较多的应用环境下,性能会大大提升,但这些高性能存储设备的单位存储价格相对于传统的磁带和 SATA 硬盘也高出很多,如图 1 所示. 图 1 不同存储设备的性能价格对比所以,如何高效平衡地利用这些存储设备,是所有存储厂商都在关注的问题.采用 Storage Tier…

Ceph块存储介绍

1. 块存储是什么块存储简称RBD(RADOS Block Device),是一种有序的字节序块,也是在Ceph三大存储类型中最为常用的存储方式 ,Ceph的块存储是基于RADOS的,因此它也借助RADOS的快照.复制和一致性等特性提供了快照.克隆和备份等操作.Ceph的块设备是一种精简置备模式,可以拓展块存储的大小且存储的数据以条带化的方式存储到Ceph集群中的多个OSD中. 2. 访问块存储的方式访问块存储的方式有两种,分别是KRBD的方式和librbd的方式. 2.1 KRBD方式 K…

Ceph对象存储网关中的索引工作原理<转>

Ceph 对象存储网关允许你通过 Swift 及 S3 API 访问 Ceph .它将这些 API 请求转化为 librados 请求.Librados 是一个非常出色的对象存储(库)但是它无法高效的列举对象.对象存储网关维护自有索引来提升列举对象的响应性能并维护了其他的一些元信息.有关对象存储网关索引工作原理的文章很少,所以我写了这篇博文,权当抛砖迎玉. 我们先来看看一个已存在的 bucket 这个 bucket 的对象列表存储在一个单独的 rados 对象中.这个对象的名字是 .dir. 加…

006.Ceph对象存储基础使用

一 Ceph文件系统 1.1 概述 Ceph 对象网关是一个构建在 librados 之上的对象存储接口,它为应用程序访问Ceph 存储集群提供了一个 RESTful 风格的网关 . Ceph 对象存储支持 2 种接口: 兼容S3: 提供了对象存储接口,兼容亚马逊S3 RESTful接口的一个大子集. 兼容Swift: 提供了对象存储接口,兼容Openstack Swift接口的一个大子集. Ceph 对象存储使用 Ceph 对象网关守护进程( radosgw ),一个与 Ceph 存储集群交互…