Ceph 作为软件定义存储的代表之一,最近几年其发展势头很猛,也出现了不少公司在测试和生产系统中使用 Ceph 的案例,尽管与此同时许多人对它的抱怨也一直存在.本文试着整理作者了解到的一些使用案例. 1. 携程(Ctrip) 携程所使用的各种存储的现状: 商业存储: SAN(HP/ HPS) , 1+ PB, 数据库 NAS (HW) , 800+ TB, 文件共享 开源存储 GlusterFS, 1+ PB, 数据库备份 FastDFS,   1+ PB, 海量照片 HDFS,      10

最近弄Ceph集群考虑要不要加入分层存储 因此花了点时间研究了下 1,首先肯定要弄清Ceph分层存储的结构 ,结构图大概就是下图所示 缓存层(A cache tier)为Ceph客户端提供更好的I/O性能,而数据存储在存储层(a backing storage tier).用相对快速/昂贵的设备(比如SSD)创建pool作为缓存层(A cache tier),用纠删码池或者相对慢速/便宜的设备创建pool作为经济的存储池.Ceph(The Ceph objecter)负责对象存放的位置,分层代理

Ceph 对象存储网关允许你通过 Swift 及 S3 API 访问 Ceph .它将这些 API 请求转化为 librados 请求.Librados 是一个非常出色的对象存储(库)但是它无法高效的列举对象.对象存储网关维护自有索引来提升列举对象的响应性能并维护了其他的一些元信息.有关对象存储网关索引工作原理的文章很少,所以我写了这篇博文,权当抛砖迎玉. 我们先来看看一个已存在的 bucket 这个 bucket 的对象列表存储在一个单独的 rados 对象中.这个对象的名字是 .dir. 加

背景 毫无疑问,乘着云计算发展的东风,Ceph已经是当今最火热的软件定义存储开源项目.如下图所示,它在同一底层平台之上可以对外提供三种存储接口,分别是文件存储.对象存储以及块存储,本文主要关注的是对象存储即radosgw. 基于Ceph可方便快捷地搭建安全性好.可用性高.扩展性好的私有化存储平台.私有化存储平台虽然以其安全性的优势受到越来越多的关注,但私有化存储平台也存在诸多弊端. 例如在如下场景中,某跨国公司需要在国外访问本地的业务数据,我们该如何支持这种远距离的数据访问需求呢.如果仅仅是在私

一 Ceph文件系统 1.1 概述 Ceph 对象网关是一个构建在 librados 之上的对象存储接口,它为应用程序访问Ceph 存储集群提供了一个 RESTful 风格的网关 . Ceph 对象存储支持 2 种接口: 兼容S3: 提供了对象存储接口,兼容亚马逊S3 RESTful接口的一个大子集. 兼容Swift: 提供了对象存储接口,兼容Openstack Swift接口的一个大子集. Ceph 对象存储使用 Ceph 对象网关守护进程( radosgw ),一个与 Ceph 存储集群交互

1. 块存储是什么 块存储简称RBD(RADOS Block Device),是一种有序的字节序块,也是在Ceph三大存储类型中最为常用的存储方式 ,Ceph的块存储是基于RADOS的,因此它也借助RADOS的快照.复制和一致性等特性提供了快照.克隆和备份等操作.Ceph的块设备是一种精简置备模式,可以拓展块存储的大小且存储的数据以条带化的方式存储到Ceph集群中的多个OSD中. 2. 访问块存储的方式 访问块存储的方式有两种,分别是KRBD的方式和librbd的方式. 2.1 KRBD方式 K

Myisam:默认的mysql插件式存储引擎.如果应用是以读操作和插入操作为主,只有很少的更新和删除操作,并且对事务的完整性.并发性要求不是很高,那么选择这个存储引擎是非常合适的.Myisam是在web.数据仓储和其他应用环境下最常使用的存储引擎之一.   Innodb:用于事务处理应用程序,支持外键.如果应用对事务的完整性有比较高的要求,在并条件下要求数据的一致性,数据操作除了插入和查询以外,还包括很多的更新.删除操作,那么Innodb存储引擎应该是比较合适的选择.Innodb存储引擎除了有效

ownCloud简介 是一个来自 KDE 社区开发的免费软件,提供私人的 Web 服务.当前主要功能包括文件管理(内建文件分享).音乐.日历.联系人等等,可在PC和服务器上运行. 简单来说就是一个基于Php的自建网盘.基本上是私人使用这样,因为直到现在开发版本也没有暴露注册功能. 我这里采用基于php7.1的LAMP环境搭建这个owncloud 下一篇将介绍和ceph对象存储整合案例 一.环境准备,这里的owncloud是10.2.1版本,所以需要php7.1以上的LAMP环境,否则会报错,LA

client   :192.168.4.10 node1 :192.168.4.11 ndoe2 :192.168.4.12 node3 :192.168.4.13   1.实验环境 准备四台KVM虚拟机,其三台作为存储集群节点,一台安装为客户端,实现如下功能: 创建1台客户端虚拟机 创建3台存储集群虚拟机 配置主机名.IP地址.YUM源 修改所有主机的主机名 配置无密码SSH连接 配置NTP时间同步 创建虚拟机磁盘 1.1 五台机器(包括真机)配置yum源 1.1.1 全部搭建ftp服务 1.

ceph对象存储 作为文件系统的磁盘,操作系统不能直接访问对象存储.相反,它只能通过应用程序级别的API访问.ceph是一种分布式对象存储系统,通过ceph对象网关提供对象存储接口,也称为RADOS网关(RGW)接口,它构建在ceph RADOS层之上.RGW使用librgw(RADOS Gateway library)和librados,允许应用程序与ceph对象存储建立连接.RGW为应用程序提供了一个RESTful S3/swift兼容的接口,用于在ceph集群中以对象的形式存储数据.cep

经过十数年的发展,CRM客户管理系统在企业当中开始家喻户晓,它的普及性也越来越高.管理者们也纷纷意识到CRM系统--这种企业管理工具带来的巨大好处.既然CRM给企业带来这么大的好处,那么企业该怎么选择适合自身的CRM呢?接下来小编就来说一下. 1.选择有实力的厂商 这里所说的实力指的CRM厂商的规模,成立时间,行业背景,业内口碑等等.企业在选择时,一定需要找到一个适合满足企业的需求,贴近企业业务的CRM软件,好用才是最硬性的标准.而这些都是企业需要综合衡量的.如果CRM厂商规模很小,或者产品还不

很多制造业企业采用MES系统对制造生产的所有组成部分如订单.加工.质量.物料管理等进行集成,以实现产品生产的全过程管理,满足生产控制的需求,最终实现车间制造管理的信息化. MES系统不仅可以帮助企业提高生产效率,更能从多个角度.部门帮助企业优化管理运营. 管理层 对于管理层而言,MES系统随时随地掌握生产的进度和数据,尤其重要.同时,管理者也关注各种报表的生成和管理.及时掌握这些信息,可以为管理者的决策提供科学的数据支持. 制造部门 制造部门通过EV-MES可以便捷地获取产品生产过程的关键信息,

在Ceph被越来越多地应用于各项存储业务过程中,其性能及调优策略也成为用户密切关注讨论的话题,影响性能表现关键因素之一即OSD存储引擎实现:Ceph基础组件RADOS是强一致.对象存储系统,其OSD底层支持的存储引擎如下图所示: 其中,ObjectStore层封装了下层存储引擎的所有IO操作,向上层提供对象(object).事务(Transaction)语义的接口,MemStore为基于内存的实现:KeyValueStore主要基于KV数据库(如leveldb, rocksdb等)实现接口功能,

[2013年10月12日 51CTO外电头条]什么样的Linux服务器最合适您的企业?简言之,它需要为员工带来工作所需的理想支持效果. 相对于成百上千种Linux桌面系统,Linux服务器系统的数量其实比较有限,但我们仍然很难从中选择真正适合企业需求的理想方案.在本文中,我将尝试运用自己积累了十二年的Linux使用经验帮助大家找到问题的答案. 我认为,选择Linux服务器系统时最重要的一项因素在于,您的IT员工是否拥有娴熟的Linux使用经验.尽管时至今日,Linux专业知识已经不再像过去那样晦

场景分析 每个机房的Ceph都是独立的cluster,彼此之间没有任何关系. 多个机房都独立的提供对象存储功能,每个Ceph Radosgw都有自己独立的命名空间和存储空间. 这样带来两个问题: 针对Radosgw来说,我们的业务没法提供统一的命名空间: 没有机房级别的容灾,若一个机房Radosgw无法访问,则机房提供的对象存储瘫痪: Realm: Zonegroup: 理解为数据中心,由一个或多个Zone组成,每个Realm有且仅有 一个Master Zonegroup,用于处理系统变更,其他

Ceph 存储集群 - 搭建存储集群 Ceph 存储集群 - 存储池 Ceph 块设备 - 命令,快照,镜像 Ceph 块设备 - 块设备快速入门 OpenStack 对接 Ceph CentOS7 下安装 NFS CentOS7 下编译安装 Samba CentOS7 下安装 iSCSI Target(tgt)

任何普通的linux主机都可以充当ceph客户机,客户机通过网络与ceph存储集群交互以存储或检索用户数据.Ceph RBD支持已经添加到linux主线内核中,从2.6.34以及以后版本开始. ===================在管理端192.168.20.181操作================================ su - ceph-admin cd my-cluster 创建ceph块客户端用户名和认证密钥 ceph auth get-or-create client.r

为什么需要 BlueStore 首先,Ceph原本的FileStore需要兼容Linux下的各种文件系统,如EXT4.BtrFS.XFS.理论上每种文件系统都实现了POSIX协议,但事实上,每个文件系统都有一点“不那么标准”的地方.Ceph的实现非常注重可靠性,因而需要为每种文件系统引入不同的Walkaround或者Hack:例如Rename不幂等性,等等.这些工作为Ceph的不断开发带来了很大负担. 其次,FileStore构建与Linux文件系统之上.POSIX提供了非常强大的功能,但大部分

本文章ceph版本为luminous,操作系统为centos7.7,ceph安装部署方法可以参考本人其他文章. [root@ceph1 ceph-install]# ceph -v ceph version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (stable) 一.执行安装前的准备工作 首先进行 环境检查并在你的 Ceph 对象网关节点上执行安装前的准备工作.特别的,你需要禁用部署 Ceph 集群所用用户的 re

随着市场经济的发展,对任何行业的企业来说,客户都是非常重要的一个部分.CRM系统帮助企业做到以客户为中心,它可以根据客户的具体要求进行跟进和反馈,在很大程度上提高公司的客户服务水平和客户满意度,进而提升企业的竞争力并提高企业的盈利.因此,越来越多的企业都开始关注并使用CRM客户关系管理系统,那么CRM系统能够起到什么作用? 1.CRM系统能够详细记录客户的数据,包括每个客户的购买偏好以及具体的需求.对于以往需要销售人员不间断的进行跟踪和记录,CRM不仅能够最大程度地提高销售人员的工作效率和积极度

安装ceph-radosgw [root@ceph-node1 ~]# cd /etc/ceph # 这里要注意ceph的源,要和之前安装的ceph集群同一个版本 [root@ceph-node1 ceph]# sudo yum install -y ceph-radosgw 创建RGW用户和keyring 在ceph-node1服务器上创建keyring: [root@ceph-node1 ceph]# sudo ceph-authtool --create-keyring /etc/ceph