Ceph 存储集群搭建

前言

Ceph 分布式存储系统，在企业中应用面较广

初步了解并学会使用很有必要

一、简介

Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。它具有高可靠性、安装方便、管理简便、能够轻松管理海量数据。Ceph 存储集群具备了企业级存储的能力，
它通过组织大量节点，节点之间靠相互通讯来复制数据、并动态地重分布数据，从而达到高可用分布式存储功能。

二、组件说明

1.Centos：release 7.6.1810 (Core)
2.Ceph：jewel-10.2.10
3.Openssh-server：version 7.4
4.NTP

三、Ceph 安装前准备

配置节点 host

将所有节点的/etc/hosts文件修改为如下内容
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

172.16.1.100 admin
172.16.1.101 osd1
172.16.1.102 osd2

安装部署工具 ceph-deploy

ceph-deploy (admin-node) 上执行
# yum 配置其他依赖包
$ yum install -y yum-utils && yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && yum install --nogpgcheck -y epel-release && rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && rm /etc/yum.repos.d/dl.fedoraproject.org*

# 添加 Ceph 源
$ vim /etc/yum.repos.d/ceph.repo
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://download.ceph.com/rpm-jewel/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

# 安装 ceph-deploy
$ yum update && sudo yum install ceph-deploy

安装 NTP 和 Openssh

官方建议在所有 Ceph 节点上安装 NTP 服务（特别是 Ceph Monitor 节点），以免因时钟漂移导致故障。
# yum 安装 ntp
sudo yum install ntp ntpdate ntp-doc

# 校对系统时钟
ntpdate 0.cn.pool.ntp.org
ceph-deploy 节点需要使用 ssh 方式登录各个节点完成 ceph 安装配置工作，所以要确保各个节点上有可用 SSH 服务
# yum 安装 openssh
$ yum install openssh-server

# 查看 ssh 版本
$ ssh -V
OpenSSH_7.4p1, OpenSSL 1.0.2k-fips  26 Jan 2017

创建 Ceph 部署用户

在 Ceph 集群各节点进行如下操作
# 创建 ceph 特定用户
$ useradd -d /home/cephd -m cephd
$ passwd cephd

# 添加 sudo 权限
$ echo "cephd ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephd
$ chmod 0440 /etc/sudoers.d/cephd

实现免密登录

ceph-deploy (admin-node) 上执行
# 生成 ssh 密钥
$ ssh-keygen

# 将公钥复制到 node0 节点
$ ssh-copy-id cephd@node0

# 将公钥复制到 node1 节点
$ ssh-copy-id cephd@node1
完成后测试一下在 ceph-deploy 管理节点免密码登录各个节点
[cephd@ceph-admin root]$ ssh osd1
Last login: Thu Feb 21 15:56:06 2019

[cephd@ceph-admin root]$ ssh osd2
Last login: Thu Feb 21 15:56:06 2019
测试没有问题，修改 ceph-deploy 管理节点上的 ~/.ssh/config 文件
$ cat ~/.ssh/config
Host osd1
   Hostname osd1
   User cephd
Host osd2
   Hostname osd2
   User cephd
注意，此时再执行 ssh node0 会提示报错 Bad owner or permissions on /home/cephd/.ssh/config。原因是 config 文件权限问题，修改权限 sudo chmod 600 config 即可解决

关闭selinux&firewalld

在 Ceph 集群各节点进行如下操作
# 临时生效设置
$ sudo setenforce 0

# 永久生效设置
$ sudo cat /etc/selinux/config
SELINUX=disabled  # 这里设置为disabled
SELINUXTYPE=targeted 

#关闭防火墙去除开机自启
$ sudo systemctl stop firewalld.service  #停止 firewall
$ sudo systemctl disable firewalld.service  #禁止 firewall 开机启动

四、Ceph 存储集群搭建

创建执行目录(admin执行)

$ mkdir ~/ceph-cluster && cd ~/ceph-cluster

创建集群(admin执行)

$ ceph-deploy new admin
此时，我们会发现 ceph-deploy 会在 ceph-cluster 目录下生成几个文件，ceph.conf 为 ceph 配置文件，ceph-deploy-ceph.log 为 ceph-deploy 日志文件，ceph.mon.keyring 为 ceph monitor 的密钥环。

修改ceph.conf

[global]
fsid = 67eef321-cd4c-488c-b668-89c26233e27f
mon_initial_members = admin
mon_host = 172.16.1.100
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
osd pool default size = 2

通过 ceph-deploy 在各个节点安装ceph

$ ceph-deploy install admin osd1 osd2

初始化 monitor 节点并收集所有密钥

$ ceph-deploy mon create-initial

有报错，不要慌

ceph_deploy.mon][ERROR ] RuntimeError: config file /etc/ceph/ceph.conf exists with different content; use --overwrite-conf to overwrite
[ceph_deploy][ERROR ] GenericError: Failed to create 1 monitors

$ ceph-deploy --overwrite-conf mon create-initial

执行完毕后，会在当前目录下生成一系列的密钥环

$ ll ~/ceph-cluster
-rw-------. 1 cephd cephd    113 Feb 21 15:13 ceph.bootstrap-mds.keyring
-rw-------. 1 cephd cephd     71 Feb 21 15:13 ceph.bootstrap-mgr.keyring
-rw-------. 1 cephd cephd    113 Feb 21 15:13 ceph.bootstrap-osd.keyring
-rw-------. 1 cephd cephd    113 Feb 21 15:13 ceph.bootstrap-rgw.keyring
-rw-------. 1 cephd cephd    129 Feb 21 15:13 ceph.client.admin.keyring
-rw-rw-r--. 1 cephd cephd    222 Feb 21 14:47 ceph.conf
-rw-rw-r--. 1 cephd cephd 120207 Feb 21 15:13 ceph-deploy-ceph.log
-rw-------. 1 cephd cephd     73 Feb 21 14:46 ceph.mon.keyring

创建 OSD

# ceph-deploy (admin-node) 上执行

$ ssh osd1
$ sudo mkdir /var/local/osd1
$ sudo chown -R ceph:ceph /var/local/osd1
$ exit

$ ssh osd2
$ sudo mkdir /var/local/osd2
$ sudo chown -R ceph:ceph /var/local/osd2
$ exit

ceph-deploy 节点执行 prepare OSD 操作

$ ceph-deploy --overwrite-conf osd prepare osd1:/var/local/osd1 osd2:/var/local/osd2

激活 activate OSD

$ ceph-deploy osd activate osd1:/var/local/osd1 osd2:/var/local/osd2

通过 ceph-deploy admin 将配置文件和 admin 密钥同步到各个节点

$ ceph-deploy admin admin osd1 osd2

增加权限设置

$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring

查看集群状态

# 查看集群状态
$ ceph -s
cluster 363c3cf4-dba4-4f13-8ec5-ed93416f4e26
     health HEALTH_OK
     monmap e1: 1 mons at {admin=10.222.77.213:6789/0}
            election epoch 6, quorum 0 admin
     osdmap e15: 2 osds: 2 up, 2 in
            flags sortbitwise,require_jewel_osds
      pgmap v9276: 64 pgs, 1 pools, 863 MB data, 226 objects
            33440 MB used, 33574 MB / 67015 MB avail
                  64 active+clean

# 或者查看集群健康状况
$ ceph health
HEALTH_OK

# 查看集群 OSD 信息
$ ceph osd tree
ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.06400 root default
-2 0.03200     host osd1
 0 0.03200         osd.0       up  1.00000          1.00000
-3 0.03200     host osd2
 1 0.03200         osd.1       up  1.00000          1.00000