前言 ceph的rbd一直有个问题就是无法清楚的知道这个分配的空间里面到底使用了多少,这个在Jewel里面提供了一个新的接口去查询,对于老版本来说可能同样有这个需求,本篇将详细介绍如何解决这个问题 查询的各种方法 目前已知的有三种方法 1.使用rbd du查询(Jewel才支持) 2.使用rbd diff 3.根据对象统计的方法进行统计 详细介绍 方法一:使用rbd du查询 这个参考我之前的文章:查询rbd的使用容量 方法二:使用rbd diff [root@lab8106 ~]# rbd d

转自:https://www.ustack.com/blog/ceph%ef%bc%8drongliang/ 在部署完Ceph集群之后,一般地我们可以通过Ceph df这个命令来查看集群的容量状态,但是Ceph是如何计算和管理的呢?相信大家都比较好奇.因为用过 ceph df这个命令的人都会有这个疑问,它的输出到底是怎么计算的呢?为什么所有pool的可用空间有时候等于GLOBAL中的可用空间,有时候不等呢? 带着这些疑问我们可以通过分析ceph df的实现,来看看Ceph是如何计算容量和管理容量

显示数据 [root@lab201 ~]# ceph df GLOBAL: SIZE AVAIL RAW USED %RAW USED 1092T 404T 688T 63.01% POOLS: NAME ID USED %USED MAX AVAIL OBJECTS rbd 0 17483G 15.88 92633G 4616231 data 1 212T 70.09 92633G 246574395 metadata 2 88677K 0 1400G 407249 总used的63% ,da

近期公司X游戏项目,提了一个游戏VM资源的需求,是 64GB RAM + 30Core CPU 的VM规格,而一个VM部署10个游戏服.而我们云平台推荐的VM规格为 4 Core CPU + 4GB RAM 那么对于游戏服来说这是个需求不合理在什么地方呢 会带来哪里优势和劣势呢 ?本文尝试分析一下: 优势: 对用户来说: 1. 资源管理简单,需要更少量的服务器 2. 单个进程可以使用更多的 CPU和RAM资源 劣势: 1. 10个游戏服运行在一个VM上,如果这个VM发生故障会影响到所有的游戏服,

网络流 关键是建图,思路在代码里 /* 最大流SAP 邻接表 思路:基本源于FF方法,给每个顶点设定层次标号,和允许弧. 优化: 1.当前弧优化(重要). 1.每找到以条增广路回退到断点(常数优化). 2.层次出现断层,无法得到新流(重要). 时间复杂度(m*n^2) */ #include <iostream> #include <cstdio> #include <cstring> #define ms(a,b) memset(a,b,sizeof a) using

1.文件目录操作 1)路径识别 a.绝对路径,以根目录开始 b.相对路径,以当前目录开始,不需从根目录开始写起 2)命令 man ls 查看ls命令帮助 cd /var/log 切换进入log目录(..进入上级目录) pwd 打印当前目录 ls 列出当前目录有哪些文件(包含目录) 参数 -l(长格式列出文件信息) 显示文件及属性 (等同于ll命令) -ld+路径  查看目录本身属性 -a 列出当前目录所有文件(包含隐藏文件,以.开头) touch 创建或更改文件时间(在当前目录下创建一个空的新文

原文:https://juejin.im/post/5c00aee06fb9a049be5d3641 小公司请求量小,但喜欢滥用内存,开一堆线程,大把大把往jvm塞对象,最终问题是内存溢出. 大公司并发大,但喜欢强调HA,所以通常保留swap,最终问题是服务卡顿. 而喜欢用全局集合变量的某些同仁,把java代码当c写,对象塞进去但忘了销毁,最终问题是内存泄漏. 如何避免? 合理参数.优雅代码.禁用swap,三管齐下, trouble shooter. 从一个故事开始 老王的疑问 一个阳光明媚的下

目录 搭建安装 三个核心组件 安装 配置环境变量 配置各上述三组件守护进程的相关属性 启停 监控和性能 Hadoop Rack Awareness yarn的NodeManagers监控 命令 hdfs的命令 appendToFile cat checksum chgrp chmod chown copyFromLocal copyToLocal count cp df du find get getfacl getfattr head tail help usage truncate touc

最近遇到C盘快要爆满的问题,我的笔记本是128G SSD + 1t HDD,给C盘分配的空间是80G固态,由于平时疏远管理,造成了C盘臃肿,迁移一些软件,但还是没有太好的解决,这是上知乎发现有大神推荐了这样一个软件WinDirStat——硬盘容量统计. 这里给出百度百科对其介绍: WinDirStat 是一款免费的硬盘容量统计软件,它能够以全彩的方式来呈现不同的文件在硬盘中占去的空间大小,让使用者可以一目了然知道是哪一类型的文件占据了你宝贵的硬盘空间.   如果只是知道是哪一类型的文件占去硬盘空

一.前言 磁盘容量统计控件,说白了,就是用来统计本地盘符占用的容量,包括但不限于已用空间.剩余空间.总大小.已用百分比等,其中对应的百分比采用进度条显示,该进度条的前景色和背景色及文字颜色可以设置,在整体换肤的时候就需要用到. 本控件的基本上没有难点可言,就是兼容WIN和LINUX操作系统,在WIN上采用winapi去读取,linux采用QProcess去执行对应的命令(df -h)获取结果,然后定时器执行,关联信号槽获取返回的额数据解析即可,控件的应用场景主要是在一些嵌入式设备上面,方便用户查

ACM Computer Factory Time Limit: 1000MS   Memory Limit: 65536K Total Submissions: 10940   Accepted: 4098   Special Judge Description As you know, all the computers used for ACM contests must be identical, so the participants compete on equal terms. T

ceph在Infernalis加入了一个功能是查询rbd的块设备的使用的大小,默认是可以查询的,但是无法快速查询,那么我们来看看这个功能是怎么开启的 ceph版本 root@lab8107:~/ceph# ceph -v ceph version 9.2.0 (bb2ecea240f3a1d525bcb35670cb07bd1f0ca299) 创建RBD设备 我们先来创建一个rbd root@lab8107:~/ceph# rbd create test --size 4000 root@lab

一.集群 1.启动一个ceph进程 启动mon进程 [root@ceph-adm ~]#203.109 service ceph start mon.ceph-mon1 启动msd进程 [root@ceph-adm ~]#203.109 service ceph start mds.ceph-mds1 启动osd进程 [root@ceph-adm ~]#203.109 service ceph start osd.0 2.查看机器的监控状态 [root@ceph-adm ~]#203.109 c

玩转 Ceph 的正确姿势 本文先介绍 Ceph, 然后会聊到一些正确使用 Ceph 的姿势:在集群规模小的时候,Ceph 怎么玩都没问题:但集群大了(到PB级别),这些准则可是保证集群健康运行的不二法门: Ceph 最初的目标是做一个分布式文件系统,直到现在这个目标也不能算完美实现:目前官网上对它的文件系统还是谨慎推荐的态度(不建议对线上核心业务部署): 业界使用 Ceph ,大多是用它的对象存储: Ceph 客户端 Ceph 支持三种存储接口:对象存储 RGW(rados gateway).

引用自: https://www.cnblogs.com/schangech/p/8036161.html 一.集群 1.启动一个ceph 进程启动mon进程 service ceph start  mon.node1 启动msd进程service ceph start mds.node1 启动osd进程service ceph start osd.0 2.查看机器的监控状态[root@client ~]# ceph healthHEALTH_OK 3.查看ceph的实时运行状态[root@cl

一.集群 1.启动一个ceph 进程 启动mon进程 service ceph start  mon.node1 启动msd进程 service ceph start mds.node1 启动osd进程 service ceph start osd.0 2.查看机器的监控状态 [root@client ~]# ceph health HEALTH_OK 3.查看ceph的实时运行状态 [root@client ~]# ceph -w 4.检查信息状态信息 [root@client ~]# cep

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写

格式 json 数据增强可读性 --format json-pretty -f json-pretty ceph quorum_status -f json-pretty ceph mon_status -f json-pretty ceph集群报 Monitor clock skew detected 错误问题排查 产生问题的原因,monitor的时钟同步出现时间偏差,ceph默认偏差大于0.05s就会出现这个报警. $ ceph health detail HEALTH_WARN clock

ceph 寻址过程 1. file --- object映射, 把file分割成N个相同的对象 2. object - PG 映射, 利用静态hash得到objectID的伪随机值,在 "位与" mask 上使得object获取属于自己的PG 3. pg -- osd 映射, 将pg映射到实际的存储单元osd, RADOS 利用 crush 算法, 由pgid得到一组n个osd,再由osd daemon 执行映射到本地的object在本地系统中存储,访问,数据维护, 此次映射功能直接受

网络: ceph必须要有公共网络和集群网络: public network:负责客户端交互以及osd与mon之间的通讯 cluster network:负责osd之间的复制,均衡,回填,数据恢复等操作. 主机上的各个 OSD 最多会用到 4 个端口: 一个用于和客户端.监视器通讯: 一个用于发送数据到其他 OSD : 两个用于各个网卡上的心跳: OSD 守护进程默认绑定 从 6800 起的第一个可用端口,当某个守护进程失败并重启时没释放端口,重启后的进程就会监听新端口.你应该防火墙打开整个 68