ceph luminous版部署bluestore

简介

与filestore最大的不同是，bluestore可以直接读写磁盘，即对象数据是直接存放在裸设备上的，这样解决了一直被抱怨的数据双份写的问题

Bluestore直接使用一个原始分区来存放ceph对象数据，不再需要任何文件系统，也就是说一个OSD对应一个裸分区；而OSD的元数据存放在一个名为RocksDB的键值对数据库中

默认的Bluestore数据存放模型：

一个OSD对应一个磁盘

磁盘的第一个分区：默认只有100MB，XFS文件系统，用于存放osd相关的 ceph_fsid、fsid、keyring等，并且其中包含一个名为block的软连接用于指向第二个分区。该分区默认挂载到/var/lib/ceph/osd/ceph-X位置。

第二个分区：原始分区，第一个分区中的block软连接指向的就是这个分区，这个分区是真正存放对象数据的分区。

部署

两个节点：ceph0、ceph1

ceph0: mon.a、mds、mgr、osd.0、osd.1
ceph1: mon.b、osd.2、osd.3

操作系统：ubuntu14.04

网络配置：

ceph1: 管理网络，eth0, 192.168.31.100
       存储网络，eth1, 172.16.31.100
ceph2: 管理网络，eth0, 192.168.31.101
       存储网络，eth1, 172.16.31.101

环境配置和https://www.cnblogs.com/wshenjin/p/11806761.html一致

OSD的部署采用bluestore的方式

配置：

[osd.0]
host = ceph0
devs = /dev/sdb1
public addr = 192.168.31.100
cluster addr = 172.16.31.100
enable experimental unrecoverable data corrupting features = bluestore rocksdb
osd objectstore = bluestore
bluestore = true
[osd.1]
host = ceph0
devs = /dev/sdc1
public addr = 192.168.31.100
cluster addr = 172.16.31.100
enable experimental unrecoverable data corrupting features = bluestore rocksdb
osd objectstore = bluestore
bluestore = true
[osd.2]
host = ceph1
devs = /dev/sdb1
public addr = 192.168.31.101
cluster addr = 172.16.31.101
enable experimental unrecoverable data corrupting features = bluestore rocksdb
osd objectstore = bluestore
bluestore = true
[osd.3]
host = ceph1
devs = /dev/sdc1
public addr = 192.168.31.101
cluster addr = 172.16.31.101
enable experimental unrecoverable data corrupting features = bluestore rocksdb
osd objectstore = bluestore
bluestore = true

ceph-disk prepare磁盘，一般执行完这条命令，新建的OSD已经up和in：

root@ceph0:~# ceph-disk prepare --bluestore  /dev/sdb

如果osd没有up，可以通过ceph-disk activate激活磁盘：

root@ceph0:~# ceph-disk activate /dev/sdb1

其他节点用同样的方式部署osd

查看：

root@ceph0:~# ceph osd stat  
4 osds: 4 up, 4 in

root@ceph0:~# ceph osd tree 
ID CLASS WEIGHT  TYPE NAME      STATUS REWEIGHT PRI-AFF 
-1       0.19476 root default                           
-3       0.09738     host ceph0                         
 0   hdd 0.04869         osd.0      up  1.00000 1.00000 
 1   hdd 0.04869         osd.1      up  1.00000 1.00000 
-5       0.09738     host ceph1                         
 2   hdd 0.04869         osd.2      up  1.00000 1.00000 
 3   hdd 0.04869         osd.3      up  1.00000 1.00000 

一些报错

报错1：

ERROR: error creating empty object store in /var/lib/ceph/tmp/mnt.cq2OM8: (5) Input/output error

原因：扇区中仍然存在上一个版本osd相关元数据信息

解决：

#使用0重写前一个G内容
root@ceph0:~# dd if=/dev/zero of=/dev/sdb bs=1M count=1024 
#先破坏磁盘所有分区，再将分区由mgr转为gpt格式分区 
root@ceph0:~# sgdisk -Z -g /dev/sdb

参考：https://blog.csdn.net/Z_Stand/article/details/90383762

报错2：

ERROR: error creating empty object store in /var/lib/ceph/tmp/mnt.Ubow06: (17) File exists

解决：

配置文件里去掉osd data字段即可，不知道为啥

报错3：

Invalid partition data!
'/sbin/sgdisk -xxxx' failed with status code 2

解决：

root@ceph0:~# ceph-disk zap /dev/sdc