部署ceph

前提：因为ceph部署时要去国外源下载包，导致下载安装时会卡住，因此我们只需通过国内的源找到对应的rpm下载安装。

一、环境准备

4台机器，1台机器当部署节点和客户端，3台ceph节点，ceph节点配置两块硬盘第二块作为osd数据盘。

1、所有节点设置静态域名解析

[root@ceph ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::       localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.42.129 node1
192.168.42.130 node2
192.168.42.128 node3
192.168.42.131 ceph

2、所有节点创建cent用户，并给root权限

# useradd cent && echo "" | passwd --stdin cent
# echo -e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL' | tee /etc/sudoers.d/ceph
# chmod  /etc/sudoers.d/ceph

3、在部署节点设置无密钥登录包括部署节点（root用户和cent用户分别执行一次）

# ssh-keygen
# ssh-copy-id node1
# ssh-copy-id node2
# ssh-copy-id node3
# ssh-copy-id ceph

注：切换到cent用户在执行一次以上命令

4、在部署节点切换到cent用户执行，创建一个文件定义所有节点和用户

# vim~/.ssh/config

Host ceph
Hostname ceph
User cent
Host node1
Hostname node1
User cent
Host node2
Hostname node2
User cent
Host node3
Hostname node3
User cent

# chmod 660 ~/.ssh/config

二、所有节点配置国内ceph源

1、# cat /etc/yum.repos.d/ceph-test.repo

[ceph-yunwei]
name=ceph-yunwei-install
baseurl=https://mirrors.aliyun.com/centos/7/storage/x86_64/ceph-jewel/
enable=
gpgcheck=

2、将下列的包下载到所有节点，其中ceph-deploy….只需在部署节点安装，其他节点不需

ceph-10.2.-.el7.x86_64.rpm
ceph-base-10.2.-.el7.x86_64.rpm
ceph-common-10.2.-.el7.x86_64.rpm
ceph-deploy-1.5.39-0.noarch.rpm
ceph-devel-compat-10.2.-.el7.x86_64.rpm
cephfs-java-10.2.-.el7.x86_64.rpm
ceph-fuse-10.2.-.el7.x86_64.rpm
ceph-libs-compat-10.2.-.el7.x86_64.rpm
ceph-mds-10.2.-.el7.x86_64.rpm
ceph-mon-10.2.-.el7.x86_64.rpm
ceph-osd-10.2.-.el7.x86_64.rpm
ceph-radosgw-10.2.-.el7.x86_64.rpm
ceph-resource-agents-10.2.-.el7.x86_64.rpm
ceph-selinux-10.2.-.el7.x86_64.rpm
ceph-test-10.2.-.el7.x86_64.rpm
libcephfs1-10.2.-.el7.x86_64.rpm
libcephfs1-devel-10.2.-.el7.x86_64.rpm
libcephfs_jni1-10.2.-.el7.x86_64.rpm
libcephfs_jni1-devel-10.2.-.el7.x86_64.rpm
librados2-10.2.-.el7.x86_64.rpm
librados2-devel-10.2.-.el7.x86_64.rpm
libradosstriper1-10.2.-.el7.x86_64.rpm
libradosstriper1-devel-10.2.-.el7.x86_64.rpm
librbd1-10.2.-.el7.x86_64.rpm
librbd1-devel-10.2.-.el7.x86_64.rpm
librgw2-10.2.-.el7.x86_64.rpm
librgw2-devel-10.2.-.el7.x86_64.rpm
python-ceph-compat-10.2.-.el7.x86_64.rpm
python-cephfs-10.2.-.el7.x86_64.rpm
python-rados-10.2.-.el7.x86_64.rpm
python-rbd-10.2.-.el7.x86_64.rpm
rbd-fuse-10.2.-.el7.x86_64.rpm
rbd-mirror-10.2.-.el7.x86_64.rpm
rbd-nbd-10.2.-.el7.x86_64.rpm

3、在部署加点的cent用户下安装ceph-deploy

# sudo yum install ceph-deploy

4、切换到root用户在所有的节点安装之前下载的rpm包

5、如果安装报错
a、可将python-distribute remove 再进行安装（或者 yum remove python-setuptools -y
注意：如果不是安装上述方法添加的rpm，用的是网络源，每个节点必须yum install ceph ceph-radosgw -y
b、安装依赖包：python-distribute，再次安装 ：ceph-deploy-1.5.39-0.noarch.rpm -y，删除：python2-setuptools-22.0.5-1.el7.noarch

6、在部署节点cent用户下执行

# mkdir ceph
# cd ceph

7、部署节点（cent用户下执行）：配置新集群

$ ceph-deploy new node1 node2 node3
$ vim ceph.conf

[cent@ceph ceph]$ cat ceph.conf

[global]
fsid = 442ab1b1-13ab-4c92-ad05-1ffb09d0d24e
mon_initial_members = node1, node2, node3
mon_host = 192.168.42.129,192.168.42.130,192.168.42.128
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd_pool_default_size =
osd_pool_default_min_size =
osd_pool_default_pg_num =
osd_pool_default_pgp_num =
osd_crush_chooseleaf_type = 

8、在部署节点执行，所有节点安装ceph软件（root用户下）

# ceph-deploy install ceph node1 node2 node3

如果报这样的错：

解决办法：执行# yum remove ceph-release

9、在部署节点初始化集群（cent用户下执行）

$ ceph-deploy mon create-initial

10、

列出节点磁盘：ceph-deploy disk list node1
擦净节点磁盘：ceph-deploy disk zap node1:/dev/vdb1

11、准备Object Storage Daemon

$ ceph-deploy osd prepare node1:/dev/sdb node2:/dev/sdb node3:/dev/sdb

12、激活Object Storage Daemon

$ ceph-deploy osd activate node1:/dev/sdb node2:/dev/sdb node3:/dev/sdb

13、在部署节点将 config files文件传到ceph节点

$ ceph-deploy admin ceph node1 node2 node3
$ sudo chmod  /etc/ceph/ceph.client.admin.keyring

14、在ceph集群中任意节点检测

# ceph -s

三、客户端设置

1、客户端创建cent用户

# useradd cent && echo "" | passwd --stdin cent
# echo-e 'Defaults:cent !requiretty\ncent ALL = (root) NOPASSWD:ALL' | tee /etc/sudoers.d/ceph
# chmod440 /etc/sudoers.d/ceph

2、在部署节点执行，安装ceph客户端及设置

# ceph-deploy install clinet
# ceph-deploy admin clinet

3、客户端执行

# sudo chmod 644 /etc/ceph/ceph.client.admin.keyring

4、客户端执行，块设备rbd配置

# rbd create disk01 --size 5G --image-feature layering #创建rbd
# rbd ls -l #查看rbd
# rbd map disk01 #将rbd映射到镜像地图中
# rbd showmapped #显示map
# mkfs.xfs /dev/rbd0 #格式化disk01文件系统xfs
# mount /dev/rbd0 /mnt #挂载硬盘
# df -hT#验证是否挂着成功

5、文件系统配置

a、在部署节点执行，选择一个node来创建MDS（cent用户执行）：
$ ceph-deploy mds create node1

b、以下操作在node1上执行：
# chmod 644 /etc/ceph/ceph.client.admin.keyring
在MDS节点node1上创建 cephfs_data 和 cephfs_metadata 的 pool

# ceph osd pool create cephfs_data #用来存放数据的
# ceph osd pool create cephfs_metadata #存放元数据的
# ceph osd lspools#列出创建的存储池

开启pool：

# ceph fs new cephfs ceph_data cephfs_metadata
显示ceph fs：
# ceph fs ls
# ceph mds stat

c、如果客户端想要用ceph提供的文件系统需要执行以下操作
1.以下操作在客户端执行，安装ceph-fuse：
$ sudo yum -y install ceph-fuse
2.获取admin key：
$ ssh cent@node1"sudo ceph-authtool -p /etc/ceph/ceph.client.admin.keyring" > admin.key
$ chmod600 admin.key
3.挂载ceph-fs
$ sudo mount-t ceph node1:6789:/ /mnt -o name=admin,secretfile=admin.key
# df -hT #退出到root用户查看

d、停止ceph-mds服务：
1、解挂载
# umount /mnt
2、停止ceph-mds服务，到ceph节点停止服务，我这里到node1上执行
# systemctl stop ceph-mds@node1
# systemctl status ceph-mds@node1
3、重置ceph-mds，node1上执行
# ceph mds fail 0
4、删除cephfs（ceph文件系统）
# ceph fs rm cephfs --yes-i-really-mean-it
5、查看ceph pool
# ceph osd lspools
6、删除ceph存储池
# ceph osd pool rm cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it

四、删除环境

# ceph-deploy purge dlp node1 node2 node3 controller
# ceph-deploy purgedata dlp node1 node2 node3 controller
# ceph-deploy forgetkeys
# rm -rf ceph*

五、ceph常用命令

 ceph -s #查看集群状态
 ceph osd tree #查看osd的map
 ceph osd lspools #查看ceph集群所有的pool
 rbd create name --size 10G --image-feature layering#创建rbd
 rbd ls -l #查看rbd列表
 rbd remove rbd-name #删除rbd
 rbd map disk01 #在客户端映射rbd map
 rbd showmapped #显示rbd map
 ceph osd pool create poolname pg的数量         #创建存储池
 ceph osd pool rm poolname poolname --yes-i-really-really-mean-it #删除存储池
 ceph fs new cephfs cephfs_metadata cephfs_data #开启ceph文件系统的pool
 ceph fs ls #显示ceph fs（文件系统）
 ceph mds stat #参看mds 状态
 ssh cent@mds-nodename "sudo ceph-authtool -p /etc/ceph/ceph.client.admin.keyring" > admin.key   #获取admin key
 systemctl stop ceph-mds@mds-nodename  #停止ceph-mds服务
 ceph mds fail  #把mds状态重置
 ceph fs rm cephfs --yes-i-really-mean-it #删除ceph-文件系统