ceph之查看osd上pg的分布

一、概述

　　osd上pg的分布决定了数据分布的均匀与否，所以能直观的看到pg到osd的上分布是很有必要的；

　　ceph只身提供了相关的命令：

 #ceph pg ls-by-osd.{osd_id}
 #for i in `ceph osd  ls`; do ceph pg ls-by-osd osd.$i |awk '{print $1}' >> /tmp/aaa ;done       #NOTE: 每次osd输出，第一行有一个pg_stat,需要去掉之后，就可以获取pg总数是ceph -s中 pg个数*副本数

　　上述方式可以很好的解决问题，但还是另一种方式也可以：

　　1、获取map：

# ceph osd getmap -o osdmap
got osdmap epoch 

　　2、获取crushmap：

#osdmaptool osdmap --export-crush crushmap
osdmaptool: osdmap file 'osdmap'
osdmaptool: exported crush map to crushmap

　　也可以使用：

#ceph osd getcrushmap -o crushmap　　　　

　　3、获取某个pool在pg上的分布情况

#osdmaptool  osdmap  --import-crush crushmap  --test-map-pgs --pool {pool_id}

　　例如：

 osdmaptool osdmap --import-crush crushmap --test-map-pgs --pool
osdmaptool: osdmap file 'osdmap'
osdmaptool: imported  byte crush map from crushmap
pool  pg_num
#osd    count    first    primary    c wt    wt
osd.                0.149994
osd.                0.149994
osd.                0.149994
osd.                0.149994
osd.                0.149994
osd.                0.149994
osd.                0.149994
osd.                0.149994
osd.                0.149994
 in
 avg  stddev 2.68742 (.383917x) (expected 2.51416 .359165x))
 min osd.
 max osd.
size
size
size
size
osdmaptool: writing epoch  to osdmap

可以看出单个pool的pg分布在osd上不是均匀的，我们可以迭代所有的pool来比较；并且通过以下命令来修改：

#ceph osd crush reweight osd.id  {value}