centos 7 下 Ceph 配置安装

一、环境介绍

　　系统：

　　　　CentOS Linux release 7.3.1611 (Core)

　　硬盘：

　　　　系统盘：300GB*2-raid 1

　　　　OSD：600GB*4-raid 5      ceph 数据副本 两份

　　网络：

　　　　public_network：10.6.32.0/24

　　　　cluster_network：10.6.33.0/24  （双网卡绑定，osd 内部数据同步使用）

　　防火前关闭：

　　　　# systemctl stop firewalld.service

　　　　# systemctl disable firewalld.service

　　Selinux 关闭：

　　　　# vim /etc/selinux/config

　　　　　　SELINUX=disabled  （设置此选项为disabled）

　　设备规划：

　　　　5台    主机名：ceph1、ceph2……ceph5

　　　　修改主机名：

　　　　　　# vim /etc/hostname

　　　　　　　　ceph1    (修改localhost..... 为主机名 ceph1 到ceph5)

　　　　修改hosts：

　　　　　　# vim /etc/hosts

　　　　　　　　

　　　　功能节点规划：

　　　　　　ceph1：ceph-deploy 、mon 、 mgr 、 osd，Ntp-server

　　　　　　ceph2 、ceph3 ：mon 、 mgr 、 osd

　　　　　　ceph4 、ceph5：osd

　　　　　　

　　　　添加 ssh 信任，以便于ceph-deploy 快速部署

　　　　　　生成key：

　　　　　　　　# ssh-keygen  （保持默认即可）

　　　　　　　　# ssh-copy-id root@ceph{2,3,4,5}   (下发证书到 其他4台设备)

 二、部署 ceph-deploy 节点

　　配置时间服务器

　　　　使用chrony 时间服务器，时间同步可以达到 nm级别。　

　　　　ceph1:

　　　　　　# vim /etc/chrony.conf

　　　　　　　

　　　　　　　#添加同于同步时间的IP段

　　　　　　# systemctl restart chronyd.service

　　　　　　# chronyc sources

　　　　other ceph：

　　　　　　# vim /etc/chrony.conf

　　　　　　

　　　　　　#设置时间服务器 ceph1 IP。

　　　　　　# systemctl restart chronyd.service

　　　　　　# chronyc sources

　　　　　　

　　添加ceph 源：

　　　　# yum -y install epel-release

　　　　# rpm --import http://mirrors.163.com/ceph/keys/release.asc

　　　　# rpm -Uvh --replacepkgs http://mirrors.163.com/ceph/rpm-luminous/el7/noarch/ceph-release-1-1.el7.noarch.rpm

　　　　# cat /etc/yum.repos.d/ceph.repo

　　　　　　

　　同步yum 源到其他设备

　　　　# for i in 21 22 23 24;do scp /etc/yum.repos.d/ceph.repo  root@"10.6.32.$i":/etc/yum.repos.d/ceph.repo;done    （后期再其他节点安装ceph 使用）

　　更新源和安装 ceph-deploy

　　　　# yum update

　　　　# yum install ceph-deploy

三、安装ceph ，创建集群

　　创建文件夹：

　　　　ceph-deploy 节点创建文件夹，用于存放集群文件。

　　　　　　# mkdir /root/my-ceph

　　生成集群文件

　　　　# cd /root/my-ceph

　　　　# ceph-deploy new ceph1     (会生成集群文件)

　　　　　　

　　编辑集群文件：ceph.conf

　　　　# vim ceph.conf　

　　　　　　

　　　　添加一下配置：[osd.x] 配置 和 [mon] 配置可以再安装好ceph 和 mon 后再进行配置。　　　　　

osd_pool_default_size = 2
osd_pool_default_min_size = 1
public_network = 10.6.32.0/24
cluster_network = 10.6.33.0.0/24

[osd.0]
cluster addr = 10.6.33.20
osd heartbeat address = 10.6.33.20
[osd.1]
cluster addr = 10.6.33.21
osd heartbeat address = 10.6.33.21
[osd.2]
cluster addr = 10.6.33.22
osd heartbeat address = 10.6.33.22
[osd.3]
cluster addr = 10.6.33.23
osd heartbeat address = 10.6.33.23
[osd.4]
cluster addr = 10.6.33.24
osd heartbeat address = 10.6.33.24

[mon]
mon allow pool delete = true

　　解释：

　　　　　　　　　　osd_pool_default_size 设置  数据副本数量

　　　　　　　　　　osd_pool_default_min_size  数据最小副本数　　

　　　　　　　　　　public_network    公共网络，用于mds，mon 等功能以及外部访问使用。

　　　　　　　　　　cluster_network    集群网络，用于内部osd 数据同步，恢复等。

　　　　　　　　　　cluster addr   每个osd 节点上定义 集群网络，多网卡下不定义，osd 可能无法启动

　　　　　　　　　　osd heartbeat address   定义osd 心跳地址

　　　　　　　　　　mon allow pool delete  定义是否允许在监控节点上删除 pool。

　　安装ceph

　　　　#  ceph-deploy install --release luminous ceph{1,2,3,4,5}      #但是这种方法很多时候由于 ceph-deploy 工具原因，不容易安装成功。并且还会修改 ceph 源配置文件。建议使用一下方法手动在每个节点安装。

　　　　手动在每个节点安装

　　　　　　# yum -y install epel-release            添加ceph 源

　　　　　　# 上述已同步 ceph 源，此处可以不做操作。　（ for i in 21 22 23 24;do scp /etc/yum.repos.d/ceph.repo  root@"10.6.32.$i":/etc/yum.repos.d/ceph.repo;done  ）

　　　　　　# yum -y install ceph ceph-radosgw

　　安装 mon  （ceph-deploy上操作）

　　　　# cd /root/my-ceph

　　　　# ceph-deploy mon create-initial

　　　　Ceph 存储集群需要至少一个 Monitor 才能运行。为达到高可用，典型的 Ceph 存储集群会运行多个Monitors，这样在单个 Monitor 失败时不会影响 Ceph 存储集群的可用性。集群中的 monitor数目 应该是奇数，最低要求有一个monitor节点，推荐有3个节点。

　　　　添加 ceph2 和ceph3 到 监控器集群

　　　　　　# ceph-deploy mon add ceph{2,3}      #新增 Monitor 后，Ceph 会自动开始同步并形成法定人数。

　　　　　　# ceph quorum_status --format json-pretty       检查法定人数状态

　　　　　　　　

　　　　　　# ceph-deploy mon destroy ceph4  从集群中删除  主机名为 ceph4 的 ceph mon 节点　　　　　　

　　　　　　#  ceph -s   查看当前集群状态，在没有添加 osd 之前，正常应该为 HEALTH_OK 状态。

　　　　　　　　

　　　　　　# ceph mon stat     查看mon 集群状态

　　同步集群文件

　　　　集群文件同步后，在执行 ceph 命令是就无需指定 monitor 地址和ceph.client.admin.keyring 了

　　　　# ceph-deploy admin ceph{1,2,3,4,5}    #第一次执行使用，以后同步文件是需要使用如下：

　　　　　　#ceph-deploy  --overwrite-conf  admin ceph{1,2,3,4,5}    采用覆盖式同步。

　　　　# chmod +r /etc/ceph/ceph.client.admin.keyring       如果使用非root 账号管理 ceph 集群时，需要添加此权限。

　　添加 osd

　　　　查看节点上的可用磁盘

　　　　　　# ceph-deploy disk list ceph{1,2,3,4,5}

　　　　格式化可用磁盘

　　　　　　# ceph-deploy disk zap ceph1:sdb ceph2:sdb ceph3:sdb ceph4:sdb ceph5:sdb     # sdb 路径为上一步操作看到的真实路径。

　　　　准备osd

　　　　　　# ceph-deploy osd prepare ceph1:sdb ceph2:sdb ceph3:sdb ceph4:sdb ceph5:sdb         （在此处应该可以指定日志盘位置,不指定时，默认数据和日志存放在同一个盘下。）

　　　　激活osd

　　　　　　# ceph-deploy osd activate ceph1:sdb1 ceph2:sdb1 ceph3:sdb1 ceph4:sdb1 ceph5:sdb1     (也可以用 create 命令一次完成准备 OSD 、部署到 OSD 节点、并激活它。 create 命令是依次执行 prepare 和 activate 命令的捷径。

# ceph-deploy osd create ceph1:sdb ceph2:sdb ceph3:sdb ceph4:sdb ceph5:sdb)

　　查看 集群状态

　　　　# ceph osd tree        

　　　　　　

　　　　　　提醒：在此前没有配置 /root/ceph.conf 文件中的 [osd.x] 的配置的，此时可能看到 osd 状态都为down，需要添加 配置，并且使用ceph-deploy  --overwrite-conf  admin ceph{1,2,3,4,5}  同步集群配置。

 OK。到此处。ceph 集群配置完成。