ceph存储安装配置

1、修改yum源：

1、安装yum源：
sudo yum install -y yum-utils 
sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/
sudo yum install --nogpgcheck -y epel-release
sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

/etc/yum.repos.d/ceph.repo
2、更新及下载：
sudo yum -y update
sudo yum -y install ceph-deploy

3、修改hosts文件：
192.168.78.101  node1
192.168.78.102  node2
192.168.78.103  node3

4、关闭防火墙及selinux：
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

2、安装ceph：

1、创建ceph的用户：
sudo useradd -d /home/cephfs -m cephfs
sudo passwd cephfs
echo "cephfs ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephfs
sudo chmod 0440 /etc/sudoers.d/cephfs

2、无秘钥认证：
ssh-keygen
ssh-copy-id cephfs@node1 
ssh-copy-id cephfs@node2 
ssh-copy-id cephfs@node3

 3、创建~/.ssh/config 文件：
Host node1
   Hostname node1
   User cephfs
Host node2
   Hostname node2 
   User cephfs
Host node3 
   Hostname node3 
   User cephfs

4、安装：
1、创建集群（ceph-deploy需要在my-cluster目录运行）
mkdir my-cluster
cd my-cluster
ceph-deploy new node1

2、安装软件包：
ceph-deploy install node1 node2 node3
报错的：[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: 'ceph'   
执行：sudo mv /etc/yum.repos.d/ceph.repo.rpmnew /etc/yum.repos.d/ceph.repo

2、部署初始监控并收集秘钥：
ceph-deploy mon create-initial

3、使用ceph-deploy将配置文件和管理密钥复制到您的管理节点和您的Ceph节：
ceph-deploy admin node1 node2 node3

4、添加三个OSD，为了达到这些说明的目的，我们假定在每个节点中都有一个未使用的磁盘/dev/vdb：
ceph-deploy osd create node1:vdb node2:vdb node3:vdb

5、检查节点是否正常
ssh node1 sudo ceph health
ssh node1 sudo ceph -s

6、修改/etc/ceph/ceph.conf文件增加：
rbd_default_features = 1

7、重启服务器（上步是为k8s使用ceph所做的操作

3、ceph的使用：

1、创建存储池：
ceph osd pool create image 64

2、创建一个镜像,-p参数指定池的名称，-size单位为M
rbd create test --size 1024 -p image

3、其他命令：

rados lspools 查看池子

ceph -s 或 ceph status 查看集群状态

ceph -w 观察集群健康状态

ceph quorum_status --format json-pretty 检查ceph monitor仲裁状态

ceph df 检查集群使用情况

ceph mon stat 检查monitor状态

ceph osd stat 检查osd状态

ceph pg stat 检查pg配置组状态

ceph pg dump 列出PG

ceph osd lspools 列出存储池

ceph osd tree 检查osd的crush map

ceph auth list 列出集群的认证密钥

ceph 获取每个osd上pg的数量