简介 众所周知,HDFS是大数据存储系统,并在业界得到了广泛的使用.但是无论大集群还是小集群其扩展性都受NameNode的限制,虽然HDFS可以通过Federation进行扩展,但是依然深受小文件和4亿个文件的困扰. 于是分布式key-value存储系统Ozone诞生了,Ozone能够轻松管理小文件和大文件. 其他能处理小文件的存储方案有Hbase, ceph等, 本人目前所了解的是ceph性能更好, ozone由于未在上产环境中实践过, 性能对比尚不可知. Ozone是专门为Hadoop设计的

一周前,由 Intel 与 Redhat 在10月18日联合举办了 Shanghai Ceph Day.在这次会议上,多位专家做了十几场非常精彩的演讲.本文就这些演讲中提到的 Ceph性能优化方面的知识和方法,试着就自己的理解做个总结. 0. 常规的 Ceph 性能优化方法 (1). 硬件层面 硬件规划:CPU.内存.网络 SSD选择:使用 SSD 作为日志存储 BIOS设置:打开超线程(HT).关闭节能.关闭 NUMA 等 (2). 软件层面 Linux OS:MTU.read_ahead 等

2018年11月17日,Ceph中国行首次走进杭州,万众期待的杭州站沙龙如期而至,虽然杭州已经开始降温,阵雨不断,但活动现场依然热度爆表,杭州各大IT公司的从业人员和Ceph爱好者纷纷而来. 中国移动软件开发工程师黄小曼 第四位分享嘉宾是中国移动软件开发工程师黄小曼,她给大家带来的分享是<ARM/x86服务器的Ceph性能对比>,主要讲述了中国移动在ARM和X86方面测试Ceph的性能对比实践.

几个 Ceph 性能优化的新方法和思路(2015 SH Ceph Day 参后感) 一周前,由 Intel 与 Redhat 在10月18日联合举办了 Shanghai Ceph Day.在这次会议上,多位专家做了十几场非常精彩的演讲.本文就这些演讲中提到的 Ceph性能优化方面的知识和方法,试着就自己的理解做个总结. 0. 常规的 Ceph 性能优化方法 (1). 硬件层面 硬件规划:CPU.内存.网络 SSD选择:使用 SSD 作为日志存储 BIOS设置:打开超线程(HT).关闭节能.关闭

优化方法论 做任何事情还是要有个方法论的,“授人以鱼不如授人以渔”的道理吧,方法通了,所有的问题就有了解决的途径.通过对公开资料的分析进行总结,对分布式存储系统的优化离不开以下几点: 1. 硬件层面 硬件规划 SSD选择 BIOS设置 2. 软件层面 Linux OS Ceph Configurations PG Number调整 CRUSH Map 其他因素 硬件优化 1. 硬件规划 Processor ceph-osd进程在运行过程中会消耗CPU资源,所以一般会为每一个ceph-osd进程绑

mysql在以下设备备份耗时,供大家参考: 备份文件大小 sata用时 ceph用时 nas挂载sata盘用时 7G   1分钟   15G   2分钟 21分钟 47G   8分钟 82分钟 274G 42分钟 40分钟 408分钟

本篇文章的内容,主要是笔者在调研分析Ceph过程中产生的一些思考.因为其中的内容比较自由发散,且大多是笔者的个人见解,故此另启一文进行讨论. 关于Ceph的性能 目前为止,本系列的文章中没有涉及到Ceph性能的详细讨论,也没有给出任何的Ceph性能数据.原因很简单:笔者本人没有机会进行详尽的Ceph性能分析研究,也没有见到比较全面的相关数据.因此,为了避免以片面的数据误导读者,便没有提供任何信息. 以笔者个人的经验而言,探讨一个系统领域的开源项目的性能,事实上并不容易.其原因在于,影响一个实际部

我在物理机上创建了5台虚拟机,搭建了一个ceph集群,结构如图: 具体的安装步骤参考文档:http://docs.ceph.org.cn/start/ http://www.centoscn.com/CentosServer/test/2015/0521/5489.html 一.磁盘读写性能 1. 单个osd磁盘写性能 [root@lrr-ceph1 osd]# echo 3 > /proc/sys/vm/drop_caches      #清除缓存页,目录项和inodes [root@lrr-

原文:http://article.ccw.com.cn/article/view/131427 ,2018-04-02,本文作者:计世传媒 赵新竹 世民Sammy:非常荣幸有机会在北京Cephalocon APAC 2018 峰会上和“Ceph之父”Sage Weil以及几位业界大咖一起跟媒体朋友们畅聊Ceph.感谢大会主办方.感谢各位大咖.感谢媒体朋友,感谢各赞助商及 Intel 绪总.   从2004年提交第一行代码为起点,Ceph从Sage Weil的毕业设计中走来,成长为开源分布式存储

  很多的用户在提到 Ceph 性能的时候都会提到“写放大”这点,实际上就是 FileJournal 在起作用.只要使用默认的 FileStore,所有数据包括 metadata 都会在 FileJournal 上预写一份.那么本文就会介绍 FileJournal 在 FileStore 存储引擎上提供的作用. 作用 FileJournal 就是数据库中常见的 WAL(Write Ahead Log) 实现,主要提供了事务的一致性和原子性.Ceph 数据访问所提供的写操作在落到 ObjectSt

测试环境 1. 测试准备 1.1 磁盘读写性能 1.1.1 单个 OSD 磁盘写性能,大概 165MB/s. root@ceph1:~# echo 3 > /proc/sys/vm/drop_caches root@ceph1:~# dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/deleteme bs=1G count=1 oflag=direct 测试发现,其结果变化非常大,有时候上 75,有时是150. 1.1.2 两个OSD同时写性能,大概 18

转自:https://www.ustack.com/blog/ceph-distributed-block-storage/ 1. Ceph简介 Ceph是统一分布式存储系统,具有优异的性能.可靠性.可扩展性.Ceph的底层是RADOS(可靠.自动.分布式对象存储),可以通过LIBRADOS直接访问到RADOS的对象存储系统.RBD(块设备接口).RADOS Gateway(对象存储接口).Ceph File System(POSIX接口)都是基于RADOS的. LIBRADOS(Native

Ceph 仍在积极开发中,所以你可能碰到一些问题,需要评估 Ceph 配置文件.并修改日志和调试选项来纠正它. 一.日志记录和调试 般来说,你应该在运行时增加调试选项来调试问题:也可以把调试选项添加到 Ceph 配置文件里来调试启动问题,然后查看 /var/log/ceph (默认位置)下的日志文件. 注意:调试输出会拖慢系统,这种延时有可能掩盖竞争条件 日志记录是资源密集任务.如果你碰到的问题在集群的某个特定区域,只启用那个区域对应的日志功能即可.例如,你的 OSD 运行良好.元数据服务器却不

Ceph是专为在商品硬件上运行而设计的,这使得构建和维护超大规模的数据集群在经济上是可行的.当规划出你的集群硬件时,你需要平衡一些考虑因素,包括故障域和潜在的性能问题.硬件规划应该包括将Ceph守护进程和其他使用Ceph的进程分布在许多主机上.一般来说,我们 建议在为该类型的守护进程配置的主机上运行特定的Ceph守护进程.我们建议使用其他主机来处理使用您的数据集群的进程(例如OpenStack.CloudStack) CPU Ceph元数据服务器会动态地重新分配负载,这对CPU来说是很有必要的.

kolla-ceph来源: 项目中的部分代码来自于kolla和kolla-ansible kolla-ceph的介绍: 1.镜像的构建很方便, 基于容器的方式部署,创建.删除方便 2.kolla-ceph的操作幂等,多次执行不会产生副作用 3.使用kolla-ceph(基于ansible)流程化部署 4.通过给磁盘打上相应标签,创建osd非常简单 5.升级便捷,通过构建新的ceph镜像,upgrade既可 6.自动根据osd节点数量来设置故障域: "osd" 或 "host&

kolla-ceph来源: 项目中的部分代码来自于kolla和kolla-ansible kolla-ceph的介绍: 1.镜像的构建很方便, 基于容器的方式部署,创建.删除方便 2.kolla-ceph的操作幂等,多次执行不会产生副作用 3.使用kolla-ceph(基于ansible)流程化部署 4.通过给磁盘打上相应标签,创建osd非常简单 5.升级便捷,通过构建新的ceph镜像,upgrade既可 6.自动根据osd节点数量来设置故障域: "osd" 或 "host&

点击上方"开源Linux",选择"设为星标" 回复"学习"获取独家整理的学习资料! 本文是一篇Ceph存储架构技术文章,内容深入到每个存储特性,文章由Ceph中国社区穆艳学翻译,耿航校稿,以下是具体内容: 目录 第1章 概览 第2章 存储集群架构 2.1 存储池2.2 身份认证2.3 PG(s)2.4 CRUSH2.5 I/O操作2.5.1 副本I/O2.5.2 纠删码I/O2.6 自管理的内部操作2.6.1 心跳2.6.2 同步2.6.3 数据

前言 继为SDN和NFV领域带来福音的DPDK之后,英特尔于2015年9月开始,逐步将为NVMe等新一代存储规范优化的Linux性能工具包SPDK(Storage Performance Developmen Kit)对合作伙伴与社区开源,试图将Linux用户态存储服务程序与底层硬件设施打通,大幅度缩短IO路径,充分利用无锁机制,为NVMe等新一代的存储介质打通软件层瓶颈,使其能够在有限的系统资源消耗下支撑关键业务存储系统足够的带宽和延时要求. spdk动机 市售的基于NVMe硬盘动辄可达到单盘

FastDFS文件系统(二) fastdfs和其他文件系统区别 一.概述 普通存储方案:Rsync.DAS(IDE/SATA/SAS/SCSI等块).NAS(NFS.CIFS.SAMBA等文件系统).SAN(FibreChannel, iSCSI, FoE存储网络块),Openfiler.FreeNas(ZFS快照复制)由于生产环境中往往由于对存储数据量很大,而SAN存储价格又比较昂贵,因此大多会选择分布式 存储来解决一下问题: 海量数据存储问题 数据高可用问题(冗余备份)问题 较高的读写性能和

本文作者岳龙广,现在就职于乐视云计算有限公司,负责IaaS部门的工作. 从开始工作就混在开源世界里,在虚拟化方面做过CloudStack/Ovirt开发,现在是做以OpenStack为基础的乐视云平台.所以对虚拟化情有独钟,也对虚拟化/云计算的未来充满了信心. 乐视网的所有服务是跑在乐视云上的,乐视云提供所有的底层支撑,包括IaaS/PaaS/Storage/CDN等等.为了带给用户更好的体验,乐视网的服务到哪,乐视云的底层服务就会跟到哪. 其中虚拟化是必不可少的部分,它的快速提供.按需分配.资