ceph集群jewel版本 rbd 块map 报错-故障排查

测试信息如下：

[root@ceph_1 ~]# ceph osd pool ls
rbd
chy_123
swimmingpool

#新建rbd 块：

rbd create swimmingpool/bar  --size 10G --image-format 2

#查看块信息：

rbd ls

#将rbd 块映射到主机：

rbd map  swimmingpool/bar

#报错内容如下

rbd: sysfs write failed

RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".

In some cases useful info is found in syslog - try "dmesg | tail" or so.

rbd: map failed: (6) No such device or address

故障排查：

rbd 块ceph 支持两种格式：

rbd create  swimmingpool/bar --size 10G --image-format 2

--image-format format-id

选择用哪个对象布局，默认为 1 。

format 1 - 新建 rbd 映像时使用最初的格式。此格式兼容所有版本的 librbd 和内核模块，但是不支持较新的功能，像克隆。

format 2 - 使用第二版 rbd 格式， librbd 和 3.11 版以上内核模块才支持（除非是分拆的模块）。此格式增加了克隆支持，使得扩展更容易，还允许以后增加新功能。

为使用rbd 块新特性，使用格式2，在map 时发生以上报错：

查找官网相关资料，找到信息如下：

笔者安装的是jewel 版本，新建rbd块指定格式2，默认格式2的rbd 块支持如下特性，默认全部开启；

layering: 支持分层

striping: 支持条带化 v2

exclusive-lock: 支持独占锁

object-map: 支持对象映射（依赖 exclusive-lock ）

fast-diff: 快速计算差异（依赖 object-map ）

deep-flatten: 支持快照扁平化操作

journaling: 支持记录 IO 操作（依赖独占锁）

笔者使用系统为centos7.2 ，内核版本 3.10.0-327.18.2.el7.x86_64,根据报错内容提示可知，服务器系统内核版本，不支持有些格式2 的新特性导致。可以使用

--image-feature   选项指定使用特性，不用全部开启。我们的需求仅需要使用快照等特性，开启layering即可，配置方式如下：

rbd create swimmingpool/bar --size 10G --image-format 2 --image-feature  layering

[root@ceph_1 ~]# rbd map swimmingpool/bar
/dev/rbd1

[root@ceph_1 ~]# lsblk
NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda           8:0    0  100G  0 disk
├─sda1        8:1    0    1G  0 part /boot
└─sda2        8:2    0   99G  0 part
  ├─cl-root 253:0    0   50G  0 lvm  /
  ├─cl-swap 253:1    0  7.8G  0 lvm  [SWAP]
  └─cl-home 253:2    0 41.2G  0 lvm  /home
sdb           8:16   0  100G  0 disk
├─sdb1        8:17   0   95G  0 part /var/lib/ceph/osd/ceph-0
└─sdb2        8:18   0    5G  0 part
sr0          11:0    1  680M  0 rom 
rbd0        252:0    0    1G  0 disk
rbd1        252:16   0   10G  0 disk    ///可以看到可以映射成功10G

rbd map  swimmingpool/bar  #可以正常映射；

#经测试，内核版本 3.10，仅支持此特性（layering），其它特性需要使用更高版本内核，或者从新编译内核加载特性模块才行。

看看format 1 format 2的区别在哪

format: 2
 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten       /////格式2 支持的功能较多，但是低内核又不支持那么多，只能把其他的功能禁用掉使用