Crush 算法以及PG和PGP调整经验

PG和PGP调整经验
调整前准备
为了降低对业务的影响，需要调整以下参数
ceph tell osd.* injectargs ‘–osd-max-backfills 1’
ceph tell osd.* injectargs ‘–osd-recovery-max-active 1’
ceph tell osd.* injectargs ‘–osd-recovery-max-single-start 1’
计算pool合理的pg和pgp数量：
计算公式：(单个osd上pg数，一般为100) x (osd数量) x (该pool数据量百分比) / (副本数)。所得结果向上取2的整数倍。

参考网站：https://ceph.com/pgcalc/

调整pg
ceph osd pool set ${pool_name} pg_num ${pg_num}
1
说明：

调整pg时，原则上每次增加一倍
执行上述命令后，本质是当前pg的分裂。
mon会首先更新自身的osd map中的pg数量，然后将osd map同步给osd。
osd根据新的pg数量进行计算，进行本地分裂（1个pg分裂成2个）
分裂过程就是创建新目录，然后数据移动过去。
分裂期间CPU和IO会打满，负载非常高，影响时间看数据量而定。网上说的一般是30s，我的数据量多，并且集群压力大。足足影响了8分钟。部分osd负载特别高，查看osd tree的时候直接down掉的，无法接受请求，随后恢复正常。
本地分裂后，pg扩容结束，所以扩容pg很快。
pg数量大于pgp数量时，heath状态显示warning。需要扩充pgp数量。
调整pgp
ceph osd pool set ${pool_name} pgp_num ${pgp_num}
1
说明

调整pgp数量会使pg在集群内重新分布
该操作会影响一半的数据进行迁移，对集群影响非常大。所以上述设置的三个参数会限制当前正在迁移的pg数量，导致不会同时大规模数据一同迁移。
————————————————
原文链接：https://blog.csdn.net/zlucifer/article/details/83820236