1. PG介绍 PG, Placement Groups.CRUSH先将数据分解成一组对象,然后根据对象名称.复制级别和系统中的PG数等信息执行散列操作,再将结果生成PG ID.可以将PG看做一个逻辑容器,这个容器包含多个对象,同时这个逻辑对象映射之多个OSD上. 如果没有PG,在成千上万个OSD上管理和跟踪数百万计的对象的复制和传播是相当困难的.没有PG这一层,管理海量的对象所消耗的计算资源也是不可想象的.建议每个OSD上配置50~100个PG. 2. 计算PG数 一般的, Ceph集群中的P

优化: PG Number PG和PGP数量一定要根据OSD的数量进行调整,计算公式如下,但是最后算出的结果一定要接近或者等于一个2的指数.调整PGP不会引起PG内的对象的分裂,但是会引起PG的分布的变动三.总结PG是指定存储池存储对象的目录有多少个,PGP是存储池PG的OSD分布组合个数PG的增加会引起PG内的数据进行分裂,分裂到相同的OSD上新生成的PG当中PGP的增加会引起部分PG的分布进行变化,但是不会引起PG内对象的变动 Total PGs = (Total_number_of_OSD

前文我们了解了ceph集群状态获取常用命令以及通过ceph daemon.ceph tell动态配置ceph组件.ceph.conf配置文件相关格式的说明等,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16727820.html:今天我们来聊一聊ceph的存储池.PG以及CRUSH相关话题: 一.关于存储池 我们知道ceph客户端存储对象数据到RADOS集群上,不是客户端直接存储到osd上:首先客户端会根据ceph集群的配置,将客户端存储的对象数据切分多

需要gson-2.2.4.jar BookServlet.java package com.aff.bookstore.servlet; import java.io.IOException; import java.lang.reflect.Method; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation.W

原文链接: https://www.jianshu.com/p/afb6277dbfd6 1.设置集群仅支持 Luminous(或者L之后的)客户端 具体命令: ceph osd set-require-min-compat-client luminous 或 ceph osd set-require-min-compat-client luminous --yes-i-really-mean-it [root@controller ~]# ceph features { "mon":

查询系统支持最大可打开文件句柄数量: #vi /proc/sys/fs/file-max 查询当前连接用户最大可打开文件句柄数量: #ulimit -a 修改当前连接用户最大可打开文件句柄数量: #ulimit -f 81920 修改linux内核设置最大可打开文件句柄数量: #vi /etc/sysctl.conf fs.file-max=81920 修改系统软硬件支持打开最大够本数量 #vi /etc/security/limit.conf * soft nproc 81920 * hard

以下为使用systemd的修改方法:   1.系统层修改: 通过修改sysctl配置,提高系统的打开文件数量 vim /etc/sysctl.conf,添加: fs.file-max = 65535 执行sysctl -p   此步骤调整后,打开rabbitmq管理页面,会发现rabbitmq最大的打开文件数量并未调整,需要进行下面步骤   2.修改rabbitmq配置 修改/etc/systemd/system/multi-user.target.wants/rabbitmq-server.s

在js中array是属于复杂类型,在arr1=arr2得赋值操作中,arr1得到的值并不是arr2的value,而是一个指向引用.那么修改arr1的同时arr2读取的值也会同步变化,那么问题来了,上代码 · let a = [1, 2, 3, 4, 5, 6, 7];//定义一个7个元素的数组 // a.forEach(i => {//遍历数组 // a.splice(0, 1, 'add_value1', 'add_value2',);//每次遍历的时候删除一个元素,添加两个元素 // con

脚本代码如下: ceph pg dump | awk ' /pg_stat/ { col=; while($col!=“up”) {col++}; col++ } /[-9a-f]+.[-9a-f]+/ { match($,/^[-9a-f]+/); pool=substr($, RSTART, RLENGTH); poollist[pool]=; up=$col; i=; RSTART=; RLENGTH=; delete osds; -]+/)>) { osds[++i]=substr(up

首先,最近在搞那个DataGrid的导出,发现,网上的用JS导出到本地的方法虽然可用,但是只能导出DataGrid当前的数据,例如说,DataGrid默认是最大显示50行,但是如果有多页,那么就无法显示全部了,那么就是只能导出前面前50行了,如果需要导出全部,只能后台导出了.今天我就想了个法子,能否直接前台显示多条记录,甚至1W条呢.我被我这个想法吓到了,O(∩_∩)O哈哈~         我先把网上的方法公布一下,网上前端导出Excel的方法是这样的(其实也是用到了后台导出)...     

****打开  vim  /etc/profile vim  /etc/profile 追加配置 # /etc/profile: system-wide .profile file for the Bourne shell (sh(1))# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...). if [ "$PS1" ]; then if [ "$BASH" ] && [ "

前文我们了解了ceph的存储池.PG.CRUSH.客户端IO的简要工作过程.Ceph客户端计算PG_ID的步骤的相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16733806.html:今天我们来聊一聊在ceph上操作存储池相关命令的用法和说明: 在ceph上操作存储池不外乎就是查看列出.创建.重命名和删除等操作,常用相关的工具都是"ceph osd pool"的子命令,ls.create.rename和rm等: 1.创建存储池 副本型

1.查看ceph集群配置信息 1 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show   2.在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点 1 ceph-deploy  --overwrite-conf config push dlp node1 node2 node3   3.检查仲裁状态,查看mon添加是否成功 1 ceph quorum_status --format json-p

1.查看集群配置信息 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2.在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点 ceph-deploy --overwrite-conf config push node1-4 3.检查仲裁状态,查看mon添加是否成功 ceph quorum_status --format json-pretty 4.列示pool列表 ceph osd lsp

Ceph学习笔记(3)- Monitor 前言: ​ Ceph将cluster map与placement rule合并为一张表称为crush map,作为集群表的一部分.由Monitor对集群表的副本进行维护和传播.Monitor是Paxos算法构建的具有分布式强一致性的小型集群(Paxos算法参考

ceph集群基本概念与管理 ceph集群基本概念 ceph集群整体结构图 名称 作用 osd 全称Object Storage Device,主要功能是存储数据.复制数据.平衡数据.恢复数据等.每个OSD间会进行心跳检查,并将一些变化情况上报给Ceph Monitor. mon 全称Monitor,负责监视Ceph集群,维护Ceph集群的健康状态,同时维护着Ceph集群中的各种Map图,比如OSD Map.Monitor Map.PG Map和CRUSH Map,这些Map统称为Cluster

1.查看ceph集群配置信息 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2.在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点 ceph-deploy --overwrite-conf config push dlp node1 node2 node3 3.检查仲裁状态,查看mon添加是否成功 ceph quorum_status --format json-pretty 4.列式p

1 PG介绍pg的全称是placement group,中文译为放置组,是用于放置object的一个载体,pg的创建是在创建ceph存储池的时候指定的,同时跟指定的副本数也有关系,比如是3副本的则会有3个相同的pg存在于3个不同的osd上,pg其实在osd的存在形式就是一个目录,可以列出来看下: [root@abc ~]# ll /var/lib/ceph/osd/ceph-/current/ total drwxr-xr-x root root Sep : .11_head drwxr-xr-

介绍:前面已经使用deploy和ansble部署了ceph集群,现在对集群的池进行简单介绍和简单操作 一.部分概念 池是ceph存储集群的逻辑分区,用于存储对象 对象存储到池中时,使用CRUSH规则将该对象分配到池中的一个PG,PG根据池的配置和CRUSH算法自动映射一组OSD池中PG数量对性能有重要影响.通常而言,池应当配置为每个OSD包含的100-200个归置组 创建池时.ceph会检查每个OSD的PG数量是否会超过200.如果超过,ceph不会创建这个池.ceph3.0安装时不创建存储池.

复习ceph003 存储池为逻辑概念,存储池可以占用整个集群的所有空间 [root@ceph01 ~]# ceph osd pool create pool1 pool 'pool1' created [root@ceph01 ~]# ceph osd pool application enable pool1 rgw enabled application 'rgw' on pool 'pool1' [root@ceph01 ~]# ceph osd pool ls detail pool 1