ceph安装部署

环境准备

测试环境是4台虚拟机，所有机器都是刚刚安装好系统(minimal)，只配置完网卡和主机名的centos7.7，每个osd增加一块磁盘，/dev/sdb

• ceph-admin ---- admin+mon节点
• ceph-node1 ---- osd节点
• ceph-node2 ---- osd节点
• ceph-node3 ---- osd节点

1、首先在所有节点创建一个部署、管理ceph集群的用户，并授予sudo权限，不建议使用root来运行ceph，同时关闭防火墙和selinux

[root@ceph-admin ~]# useradd cephfsd
[root@ceph-admin ~]# echo "ceph123"|passwd cephfsd --stdin
Changing password for user cephfsd.
passwd: all authentication tokens updated successfully.
[root@ceph-admin ~]# echo "cephfsd ALL = (root,ceph) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephfsd
cephfsd ALL = (root,ceph) NOPASSWD:ALL
[root@ceph-admin ~]# chmod 0440 /etc/sudoers.d/cephfsd
[root@ceph-admin ~]# setenforce 0
[root@ceph-admin ~]# sed -i 's/enforcing/disabled/g' /etc/selinux/config
[root@ceph-admin ~]# systemctl stop firewalld.service
[root@ceph-admin ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@ceph-admin ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.143.121 ceph-admin
172.16.143.122 ceph-node1
172.16.143.123 ceph-node2
172.16.143.124 ceph-node3
[root@ceph-admin ~]# ntpdate ntp1.aliyun.com
[root@ceph-admin ~]# vim /etc/rc.local
# sync time
ntpdate ntp1.aliyun.com

之后，在admin节点使用cephfsd用户登录，开始下一步。

2、配置免密登录，并把秘钥推送到所有osd节点，包括admin自身。

# admin上配置免密登录
[root@ceph-admin ~]# su cephfsd
[cephfsd@ceph-admin root]$ cd
[cephfsd@ceph-admin ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/cephfsd/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/cephfsd/.ssh/id_rsa.
Your public key has been saved in /home/cephfsd/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:pmFVNy8T8fw+HWvDFFEDUljFkjBvnd1lOk8L9/v/558 cephfsd@deploy
The key's randomart image is:
+---[RSA 2048]----+
|          .+X==+=|
|         . o+O.+B|
|        .   o+B=+|
|       .    .oo=+|
|      o S      ++|
|     . +      o.=|
|      .        Bo|
|              . *|
|               E@|
+----[SHA256]-----+
[cephfsd@ceph-admin ~]$ ssh-copy-id ceph-node1
[cephfsd@ceph-admin ~]$ ssh-copy-id ceph-node2
[cephfsd@ceph-admin ~]$ ssh-copy-id ceph-node3
[cephfsd@ceph-admin ~]$ ssh-copy-id ceph-admin

3、配置yum源，这里使用阿里云的源。（所有节点都要配置yum源。）

# 所有节点都要配置yum源。包括admin和osd和mon。
[cephfsd@ceph-admin ~]$ sudo vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[cephfsd@ceph-admin ~]$ sudo yum clean all

4、在admin上安装ceph-deploy。

# admin节点上安装ceph-deploy
[cephfsd@ceph-admin ~]$ sudo yum -y install epel-release
[cephfsd@ceph-admin ~]$ sudo yum -y install ceph ceph-radosgw ceph-deploy  # 如果不做osd，可以不需要安装ceph和ceph-radosgw，我们这里为了保险都安装上。
[cephfsd@ceph-admin ~]$ sudo yum -y install htop sysstat iotop iftop ntp ntpdate

5、在所有节点安装ceph。

如果其他osd节点不能上网，则需要使用自建yum源的方式来使用。

可以参考：http://www.strugglesquirrel.com/2019/04/23/centos7%E9%83%A8%E7%BD%B2ceph/

我们这里能上网，所以我们直接使用yum。

# osd节点配置yum源，这里使用外网的。
[root@ceph-node1 ~]# su cephfsd
[cephfsd@ceph-node1 root]$ cd
[cephfsd@ceph-node1 ~]$
[cephfsd@ceph-node1 ~]$ sudo vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[cephfsd@ceph-node1 ~]$ sudo yum clean all
[cephfsd@ceph-node1 ~]$ sudo yum -y install epel-release
[cephfsd@ceph-node1 ~]$ sudo yum -y install ceph ceph-radosgw
[cephfsd@ceph-node1 ~]$ sudo yum -y install htop sysstat iotop iftop ntp ntpdate
# 其余osd节点也是一样的操作

也可以在ceph-admin节点，用ceph-deploy安装。

[cephfsd@ceph-admin ceph]$ cd /etc/ceph/
[cephfsd@ceph-admin ceph]$ setfacl -R -m u:cephfsd:rwx /etc/ceph
[cephfsd@ceph-admin ceph]$ ceph-deploy install ceph-admin ceph-node1 ceph-node2 ceph-node3

6、使用ceph-deploy部署集群：

# 初始化集群配置
[cephfsd@ceph-admin ~]$ cd /etc/ceph
[cephfsd@ceph-admin ceph]$ sudo chown -R cephfsd.cephfsd ./
# mon安装在ceph-admin上。
[cephfsd@ceph-admin ceph]$ ceph-deploy new ceph-admin
[cephfsd@ceph-admin ceph]$ ls
total 112
-rw-r--r--. 1 cephfsd cephfsd   289 Dec  5 20:21 ceph.conf
-rw-r--r--. 1 cephfsd cephfsd 76854 Dec  5 20:24 ceph-deploy-ceph.log
-rw-------. 1 cephfsd cephfsd    73 Dec  5 23:12 ceph.mon.keyring
-rw-r--r--. 1 cephfsd cephfsd    92 Apr 11  2019 rbdmap

初始化集群主要是生成最基本的配置文件ceph.conf和monitor key文件ceph.mon.keyring，我们要手动修改ceph.conf，添加集群公网和集群网络的配置

这里，我们测试环境，先不配置公网与集群网络。

7、修改副本数。

# 修改配置文件ceph.conf，设置osd_pool_default_size副本数为3.
[cephfsd@ceph-admin ceph]$ cat ceph.conf
[global]
fsid = 6d3fd8ed-d630-48f7-aa8d-ed79da7a69eb
mon_initial_members = ceph-admin
mon_host = 172.16.143.121
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

osd_pool_default_size = 3

8、安装monitor服务。

# 我们这里就设置了一台mon节点。
[cephfsd@ceph-admin ceph]$ ceph-deploy mon create-initial
[cephfsd@ceph-admin ceph]$ ls -l
total 112
-rw-------. 1 cephfsd cephfsd    71 Dec  5 23:16 ceph.bootstrap-mds.keyring
-rw-------. 1 cephfsd cephfsd    71 Dec  5 23:16 ceph.bootstrap-mgr.keyring
-rw-------. 1 cephfsd cephfsd    71 Dec  5 23:16 ceph.bootstrap-osd.keyring
-rw-------. 1 cephfsd cephfsd    71 Dec  5 23:16 ceph.bootstrap-rgw.keyring
-rw-------. 1 cephfsd cephfsd    63 Dec  5 23:16 ceph.client.admin.keyring
-rw-r--r--. 1 cephfsd cephfsd   289 Dec  5 20:21 ceph.conf
-rw-r--r--. 1 cephfsd cephfsd 76854 Dec  5 20:24 ceph-deploy-ceph.log
-rw-------. 1 cephfsd cephfsd    73 Dec  5 23:12 ceph.mon.keyring
-rw-r--r--. 1 cephfsd cephfsd    92 Apr 11  2019 rbdmap

9、配置其他osd节点
# mon create-initial会根据ceph.conf进行创建mon，判断monitor都创建成功后，会进行keyring的收集，这些keyring在后续创建其他成员的时候要用到，接下来我们分发集群keyring

# 这个操作是将集群的admin.keyring分发给指定的节点，这样这些节点就可以使用ceph命令了，接下来创建mgr
[cephfsd@ceph-admin ceph]$ ceph-deploy admin ceph-node1 ceph-node2 ceph-node3
[cephfsd@ceph-admin ceph]$ ceph-deploy mgr create ceph-admin

10、创建osd

mgr分担了很多原本monitor的工作，目前它也是重要的一个组件，根据集群规模，可以创建2-3个mgr，不过也没有必要太多，接下来可以开始创建osd了

删除磁盘数据（我们是新增的磁盘，可以跳过这步）

# 这里，我们使用的是之前新增的磁盘/dev/sdb，避免与os在同一个分区。
[cephfsd@ceph-admin ceph]$ ceph-deploy disk zap /dev/sdb ceph-node1
[cephfsd@ceph-admin ceph]$ ceph-deploy disk zap /dev/sdb ceph-node2
[cephfsd@ceph-admin ceph]$ ceph-deploy disk zap /dev/sdb ceph-node3

开始创建osd，这里一共创建了三个osd。

# 这里，我们使用的是之前新增的磁盘/dev/sdb，避免与os在同一个分区。
[cephfsd@ceph-admin ceph]$ ceph-deploy osd create --data /dev/sdb ceph-node1
[cephfsd@ceph-admin ceph]$ ceph-deploy osd create --data /dev/sdb ceph-node2
[cephfsd@ceph-admin ceph]$ ceph-deploy osd create --data /dev/sdb ceph-node3

11、查看ceph状态：

[cephfsd@ceph-admin ceph]$ ceph health
HEALTH_OK
[cephfsd@ceph-admin ceph]$
[cephfsd@ceph-admin ceph]$ ceph -s
  cluster:
    id:     6d3fd8ed-d630-48f7-aa8d-ed79da7a69eb
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum ceph-admin
    mgr: ceph-admin(active)
    mds: cephfs-1/1/1 up  {0=ceph-node3=up:active}, 2 up:standby
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   2 pools, 128 pgs
    objects: 21 objects, 7.77KiB
    usage:   3.00GiB used, 27.0GiB / 30.0GiB avail
    pgs:     128 active+clean
[cephfsd@ceph-admin ceph]$ ceph df
GLOBAL:
    SIZE        AVAIL       RAW USED     %RAW USED
    30.0GiB     27.0GiB      3.00GiB         10.02
POOLS:
    NAME                ID     USED        %USED     MAX AVAIL     OBJECTS
    cephfs_data         5           0B         0       8.49GiB           0
    cephfs_metadata     6      7.77KiB         0       8.49GiB          21
    rbd_data            7           0B         0       8.49GiB           0
[cephfsd@ceph-admin ceph]$

至此，osd全部创建成功了。

12、dashboard配置

dashboard其实就是ceph自带的一个web管理后台。

# 修改/etc/ceph/ceph.conf，增加如下配置。
[cephfsd@ceph-admin ceph]$ vim /etc/ceph/ceph.conf
[mgr]
mgr modules = dashboard

将主节点上的配置文件推送到从节点。

[cephfsd@ceph-admin ceph]$ ceph-deploy --overwrite-conf config push ceph-node1 ceph-node2 ceph-node3

查看当前集群在使用哪几个模块

[root@ceph-admin ~]# ceph mgr dump
{
    "epoch": 10,
    "active_gid": 14099,
    "active_name": "ceph-admin",
    "active_addr": "172.16.143.121:6800/15303",
    "available": true,
    "standbys": [],
    "modules": [
        "balancer",
        "restful",
        "status"
    ],
    "available_modules": [
        "balancer",
        "dashboard",
        "influx",
        "localpool",
        "prometheus",
        "restful",
        "selftest",
        "status",
        "zabbix"
    ],
    "services": {
        "dashboard": "http://172.16.143.121:7000/"
    }
}
[root@ceph-admin ~]#

使dashboard可用

[cephfsd@ceph-admin ceph]$ ceph mgr module enable dashboard

查看是否支持dashboard

[root@ceph-admin ~]# ceph mgr module ls
{
    "enabled_modules": [
        "balancer",
        "dashboard",
        "restful",
        "status"
    ],
    "disabled_modules": [
        "influx",
        "localpool",
        "prometheus",
        "selftest",
        "zabbix"
    ]
}

设置dashboard web网页监控的ip及端口（根据需求配置）10.27.0.130为此主机外网ip

[cephfsd@ceph-admin ceph]$ ceph config-key put mgr/dashboard/server_addr 172.16.143.121
set mgr/dashboard/server_addr
[cephfsd@ceph-admin ceph]$ ceph config-key put mgr/dashboard/server_port 7000
set mgr/dashboard/server_port

可以使用此命令查看当前设置的值

[cephfsd@ceph-admin ceph]$ ceph config-key dump
{
    "mgr/dashboard/server_addr": "172.16.143.121",
    "mgr/dashboard/server_port": "7000"
}
[cephfsd@ceph-admin ceph]$

现在就可以访问了。

http://172.16.143.121:7000/health

13、其他
清理机器上的ceph相关配置：
　　停止所有进程： stop ceph-all
　　卸载所有ceph程序：ceph-deploy uninstall [{ceph-node}]
　　删除ceph相关的安装包：ceph-deploy purge {ceph-node} [{ceph-data}]
　　删除ceph相关的配置：ceph-deploy purgedata {ceph-node} [{ceph-data}]
　　删除key：ceph-deploy forgetkeys

　　卸载ceph-deploy管理：yum -y remove ceph-dep

部署过程中如果出现任何奇怪的问题无法解决，可以简单的删除一切从头再来：

# ceph-deploy purge ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2
# ceph-deploy purgedata ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2
# ceph-deploy forgetkeys

ceph使用的场景主要有三种，块存储场景、对象存储场景和文件系统存储场景，接下来会分别介绍。

参考：http://docs.ceph.org.cn/

http://www.strugglesquirrel.com/2019/04/23/centos7%E9%83%A8%E7%BD%B2ceph/

https://www.cnblogs.com/happy1983/p/9246379.html