ceph 集群快速部署

1、三台Centos7的主机

[root@ceph-1 ~]# cat /etc/redhat-release

CentOS Linux release 7.2.1511 (Core)

  

2、主机准备

IP地址       主机名

172.16.10.210   admin-node  #管理端，后续的ceph-deploy工具都在该主机上进行操作，并且也充当监控和osd.0节点

172.16.10.211   node1     #监控和osd.1节点

172.16.10.212   node2     #监控和osd.2节点

 

3、修改admin-node的/etc/hosts文件

172.16.10.211   node1

172.16.10.212   node2

 

4、配置admin-node与其它节点的ssh无密码root权限访问

   

5、修改每个节点的hostname

hostnamectl set-hostname "node-name"

 

 

6、每个osd节点开放防火墙

-A INPUT -p tcp -m state --state NEW -m tcp --dport 6789:7100 -j ACCEPT

 

 

7、配置ceph的yum源,安装ceph-deploy工具、以及客户端。

需要在每个主机上执行以下指令（除了安装ceph-deploy管理节点）

 

 

配置ceph源

vim /etc/yum.repos.d/ceph.repo

 

 

 [ceph]

 name=ceph

 baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/

 gpgcheck=0

 [ceph-noarch]

 name=cephnoarch

 baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/

 gpgcheck=0

 

 

 

yum -y install ceph-deploy

 

 

安装ceph客户端：

yum install ceph ceph-radosgw rdate -y

 

 

关闭selinux&firewalld

 sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

setenforce 0

systemctl stop firewalld

systemctl disable firewalld

同步各个节点时间：

 yum -y install rdate

 rdate -s time-a.nist.gov

 echo rdate -s time-a.nist.gov >> /etc/rc.d/rc.local

 chmod +x /etc/rc.d/rc.local

 

8、先在管理节点上创建一个目录，用于保存 ceph-deploy 生成的配置文件和密钥对

mkdir my-cluster

cd my-cluster

 

 

创建监控节点，这里可以同时创建多个节点，为了测试后期增加mon节点，这里就只添加一个

ceph-deploy new node1

 

 

修改配置文件，执行上述命令之后，会在当前目录产生ceph.conf文件，打开文件增加配置

osd pool default size = 2   #创建3个副本

public_network = 172.16.10.0/24   #公用网络

cluster_network = 172.16.10.0/24  #集群网络

 

 

初始化监控节点并收集keyring，如果是双网卡，需要修改配置文件ceph.conf将mon的内网地址改为公网地址，执行时需要在ceph-deploy后加--overwrite-conf

ceph-deploy mon create-initial

 

 

把admin-node节点的配置文件与keyring同步至其它节点

ceph-deploy admin admin-node node1 node2

 

 

ceph-deploy osd create node1:/data/osd1 node2:/data/osd2     #创建激活分区

现在初步集群搭建完成，查看ceph集群健康状态

ceph health

如果成功将提示：HEALTH_OK