ceph 002 ceph架构 ceph数据存储过程 ceph集群安装

ceph 架构

rgw：实现对象存储 （web的url和swift，s3接口）

mon：集群的访问入口 （集群，同时工作，得同步信息。每个mon的ip不一样）

mgr：监控 信息收集 web 界面 （将信息，汇报给mon。主备）

osd：磁盘

数据存储过程

本质上的底层为对象存储

ceph接口 librados

ceph驱动 rados

上面封装了三种存储类型

一个文件被切分成多个对象

object默认4M oid 对象id

切分后就为二进制文件（object），单独存在无意义。下载的话得将二进制组合

对象被映射到osd上面

如果osd所在的主机坏了，那么这个文件的对象就缺失，就不完整

所以object会多存2份在其他的osd上面 （三副本,真正的容量/3）

如果一个文件很大1TB 你将它切成无数个4M，那么随着对象的增多，检索效率会变低

所以中间多了一层PGs 1-10 11-20 21-30 加快检索效率

对象映射的pg的算法叫hash算法
简单的hash算法
有100个组     对象id为54
54/100取余   余数为54，那么被放到54组里

归置组到osd

crush算法

三副本，那么归置组映射三个osd（在组出来的时候，映射关系就出来了。存文件之前就已经存在这个映射关系）

osd写一个成功（主osd），然后复制两个（备osd）

ceph 强一致性，确保三副本每一个写成功，才返回客户端

正常的话主提供读写，坏了，能自我修复，备osd先顶上

尽量将主osd放在ssd上

ceph搭建

安装方法

ceph-deploy centos7 centos8（不支持）

cephadm o版开始的部署工具 web界面 容器部署 （docker podman）

manual 纯手动

ceph-ansible ansible github

c-e 集群

serverg 可以加入集群的节点（扩容）

serverf 单节点集群

utility 镜像仓库 dns

classroom 资料与yum源

basion 路由转发 路由器

clienta 管理节点

clientb 另外一个集群的管理节点

正常情况 mon mgr osd 三个都单独部署

mon三台主机 mgr两台节点 osd数据节点

教师环境节点复用一个节点mon mgr osd都有

cephadm 一台做好，将其他节点加入进来

1 预准备，并执行ansible

cephadm-ansible 预部署，给你准备好前提条件 yum文件 时间同步 容器工具

[root@serverc ~]# yum -y install cephadm-ansible

[root@serverc ~]# cd /usr/share/cephadm-ansible/
[root@serverc cephadm-ansible]# ls
ansible.cfg  cephadm-preflight.yml  cephadm-purge-cluster.yml  ceph-defaults
[root@serverc cephadm-ansible]#

写主机清单

[root@serverc cephadm-ansible]# cat hosts
clienta.lab.example.com
serverc.lab.example.com
serverd.lab.example.com
servere.lab.example.com

[root@serverc cephadm-ansible]# ansible-playbook -i hosts cephadm-preflight.yml  \
> --extra-vars "ceph_origin="

--extra-vars "ceph_origin= 指定为空，不从红帽官网安装，从本地源装

- clienta.lab.example.com
- serverc.lab.example.com
- serverd.lab.example.com
- servere.lab.example.com

ceph会取主机名clienta这一部分

2 写配置文件

这个文件得自己写

vim  ~/ceph/initial-config-primary-cluster.yaml
[root@serverc ~]# cat ceph/initial-config-primary-cluster.yaml
service_type: host
addr: 172.25.250.10
hostname: clienta.lab.example.com
---
service_type: host
addr: 172.25.250.12
hostname: serverc.lab.example.com
---
service_type: host
addr: 172.25.250.13
hostname: serverd.lab.example.com
---
service_type: host
addr: 172.25.250.14
hostname: servere.lab.example.com
---
service_type: mon
placement:
hosts:
    - clienta.lab.example.com
    - serverc.lab.example.com
    - serverd.lab.example.com
    - servere.lab.example.com
---
service_type: rgw
service_id: realm.zone
placement:
hosts:
    - serverc.lab.example.com
    - serverd.lab.example.com
---
service_type: mgr
placement:
hosts:
    - clienta.lab.example.com
    - serverc.lab.example.com
    - serverd.lab.example.com
    - servere.lab.example.com
---
service_type: osd
service_id: default_drive_group
placement:
host_pattern: 'server*'
data_devices:
paths:
    - /dev/vdb
    - /dev/vdc
- /dev/vdd

    [root@serverc ceph]# ls
    initial-config-primary-cluster.yaml
    [root@serverc ceph]# pwd
    /root/ceph

这个配置文件有相关ceph信息

可以更改，然后再次跑这个文件完成更新

3 使用配置文件跑cephadm

关于安装可以查找帮助文档

[root@serverc ceph]# cephadm bootstrap --mon-ip=172.25.250.12  --apply-spec initial-config-primary-cluster.yaml --registry-url registry.lab.example.com --registry-username registry --registry-password redhat --initial-dashboard-password redhat --dashboard-password-noupdate --allow-fqdn-hostname

4 查验

[root@serverc ceph]# cephadm shell
调用容器，里面有所有ceph工具
[ceph: root@serverc /]# ceph -s
cluster:
    id:     e5f9d02c-140c-11ed-aa7b-52540000fa0c
    health: HEALTH_OK

services:
    mon: 4 daemons, quorum serverc.lab.example.com,servere,serverd,clienta (age 106s)
    mgr: serverc.lab.example.com.eskdfx(active, since 4m), standbys: clienta.ecdris, serverd.wpncqk, servere.mguxgb
    osd: 9 osds: 9 up (since 2m), 9 in (since 3m)
    rgw: 2 daemons active (2 hosts, 1 zones)

data:
    pools:   5 pools, 119 pgs
    objects: 189 objects, 4.9 KiB
    usage:   71 MiB used, 90 GiB / 90 GiB avail
    pgs:     119 active+clean

progress:

[ceph: root@serverc /]#

开源ceph部署

三台节点centos7，最小化安装

1.基础配置

更改合适的主机名
例
hostnamectl set-hostname ceph01.example.com

配置网络可以互通且能通外网

配置hosts解析
[root@ceph01 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.92.11   ceph01.example.com ceph01
192.168.92.22   ceph02.example.com ceph02
192.168.92.33   ceph03.example.com ceph03

关闭selinux
setenforce 0

设置防火墙规则
[root@ceph01 ~]# firewall-cmd --permanent --add-service=ntp
success
[root@ceph01 ~]# firewall-cmd --reload
success

以上三台主机都要做

安装时间同步
yum -y install chrony
主同步节点
vim /etc/chrony.conf
local stratum 10
allow 192.168.0.0/16
systemctl restart chronyd

client节点
cat /etc/chrony.conf  | grep iburst
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ceph01.example.com iburst
systemctl restart chronyd

2.安装软件包

[root@ceph02 bin]# ls | grep python
python
python2
python2.7

安装wget取得阿里源
yum -y install wget
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
两个源二选一
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo

安装python3
yum -y install python3

安装docker-ce
# step 1: 安装必要的一些系统工具
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# Step 2: 添加软件源信息
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# Step 3
sudo sed -i 's+download.docker.com+mirrors.aliyun.com/docker-ce+' /etc/yum.repos.d/docker-ce.repo
# Step 4: 更新并安装Docker-CE
sudo yum makecache fast
sudo yum -y install docker-ce
# Step 4: 开启Docker服务
sudo service docker start
# 注意：
# 官方软件源默认启用了最新的软件，您可以通过编辑软件源的方式获取各个版本的软件包。例如官方并没有将测试版本的软件源置为可用，您可以通过以下方式开启。同理可以开启各种测试版本等。
# vim /etc/yum.repos.d/docker-ce.repo
#   将[docker-ce-test]下方的enabled=0修改为enabled=1
#
# 安装指定版本的Docker-CE:
# Step 1: 查找Docker-CE的版本:
# yum list docker-ce.x86_64 --showduplicates | sort -r
#   Loading mirror speeds from cached hostfile
#   Loaded plugins: branch, fastestmirror, langpacks
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            docker-ce-stable
#   docker-ce.x86_64            17.03.1.ce-1.el7.centos            @docker-ce-stable
#   docker-ce.x86_64            17.03.0.ce-1.el7.centos            docker-ce-stable
#   Available Packages
# Step2: 安装指定版本的Docker-CE: (VERSION例如上面的17.03.0.ce.1-1.el7.centos)
# sudo yum -y install docker-ce-[VERSION]

设置docker 开机自启
systemctl enable docker

配置镜像加速器
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://lrppnyd2.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

3.安装ceph集群

第一种方法
[root@ceph01 ~]# curl  --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
来自ceph官网
第二种
去github搜索ceph拿自己想要的版本
下载cephadm

[root@ceph01 ~]# chmod a+x cephadm
给权限
[root@ceph01 ~]# ./cephadm add-repo --release octopus
拉个o版仓库源源

[root@ceph01 ~]# ./cephadm install
Installing packages ['cephadm']...
[root@ceph01 ~]#
安装相关工具包
倘若有gpgkey的问题，关闭秘钥检查

以上三台主机都要做

在一个节点

[root@ceph01 ~]# cephadm bootstrap --mon-ip 192.168.92.11 --initial-dashboard-password redhat --dashboard-password
-noupdate --allow-fqdn-hostname
开始cephadm部署
因为有网，访问的到网络上的源，所以没有特别指定registry-url

4.查看结果

[root@ceph01 ~]# cephadm shell
Inferring fsid cb8f4abe-14a7-11ed-a76d-000c2939fb75
Inferring config /var/lib/ceph/cb8f4abe-14a7-11ed-a76d-000c2939fb75/mon.ceph01.example.com/config
Using recent ceph image quay.io/ceph/ceph@sha256:c3336a5b10b069b127d1a66ef97d489867fc9c2e4f379100e5a06f99f137a420
[ceph: root@ceph01 /]#
cephadm shell  会启动一个临时的容器，退出时关闭。

想在容器外访问节点，那得安装ceph软件包命令
yum -y install ceph-common

[ceph: root@ceph01 /]# ceph orch daemon add osd ceph01.example.com:/dev/sdb
Created osd(s) 0 on host 'ceph01.example.com'
[ceph: root@ceph01 /]# ceph orch daemon add osd ceph01.example.com:/dev/sdc
Created osd(s) 1 on host 'ceph01.example.com'
[ceph: root@ceph01 /]# ceph orch daemon add osd ceph01.example.com:/dev/sdd
Created osd(s) 2 on host 'ceph01.example.com'

注意此时在容器里

在容器里面操作主机之间免密登录

[ceph: root@ceph01 /]# ceph cephadm get-pub-key
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQCysZgbSqzlN9UKGcIFprdLR/m9y5TYoFcckOXEZzFsA7o9zaWrfJYbkNyGSYbw8DSywYF1pcZu1QOiZ9DAG0XVotz/Gk4NqO9ewp6bPwxonShB5xGi63OZ0qhsgj0iV368FB7C7POM09kXCKueGlKyGXzOIX38k6yk2HHLN2Apx956qixJ+nuqOXpmK2a4dgkU98xE27ldlksxk+FlfSmI+ZuDscGQIZRpLhtLig6shrDMQzwjt+8UKdDMLFDyKkKBwqMwT1c0Av3z0EjQU8IUPOU50kbWNqAsJsq4Gq+kIZcSbeX/3Jnequ6znMwFqkB55Xr9XUWueEWIz14jX60ZX8Dma7+BBUAszH+VkK1hoBIU5xgVXA3rmZSZxLLGZswcB7pYhCO2mnrIACJjErJF4BlVv0zxh5QTchVq9m8Y+2H3sZdut5Umu0vfZhuMlYeTs8b5axUCEOwkwevV1t9QZiUdAw9iMBHGpNHKAO6R3bBdDZ8wpNUYFIvMuHccDr8= ceph-cb8f4abe-14a7-11ed-a76d-000c2939fb75
[ceph: root@ceph01 /]# ceph cephadm get-pub-key > ~/ceph.pub

ssh-copy-id -f -i ~/ceph.pub root@ceph02.example.com
ssh-copy-id -f -i ~/ceph.pub root@ceph03.example.com

增加节点

[ceph: root@ceph01 /]# ceph orch host add ceph02.example.com
Added host 'ceph02.example.com'
[ceph: root@ceph01 /]# ceph orch host add ceph03.example.com
Added host 'ceph03.example.com'
[ceph: root@ceph01 /]# 

查看所有镜像

[ceph: root@ceph01 /]# ceph orch ps
NAME                           HOST                STATUS         REFRESHED  AGE  VERSION  IMAGE NAME                                IMAGE ID      CONTAINER ID
alertmanager.ceph01            ceph01.example.com  running (24m)  2m ago     26m  0.20.0   quay.io/prometheus/alertmanager:v0.20.0   0881eb8f169f  c396bb1811ca
crash.ceph01                   ceph01.example.com  running (26m)  2m ago     26m  15.2.16  quay.io/ceph/ceph:v15                     296d7fe77d4e  2df23f92e960
grafana.ceph01                 ceph01.example.com  running (24m)  2m ago     25m  6.7.4    quay.io/ceph/ceph-grafana:6.7.4           557c83e11646  41a4d79bffdf
mgr.ceph01.example.com.wvuoii  ceph01.example.com  running (27m)  2m ago     27m  15.2.16  quay.io/ceph/ceph:v15                     296d7fe77d4e  3c35496cc85b
mon.ceph01.example.com         ceph01.example.com  running (27m)  2m ago     28m  15.2.16  quay.io/ceph/ceph:v15                     296d7fe77d4e  e05f0ede5bf8
node-exporter.ceph01           ceph01.example.com  running (22m)  2m ago     25m  0.18.1   quay.io/prometheus/node-exporter:v0.18.1  e5a616e4b9cf  74929a93b396
osd.0                          ceph01.example.com  running (12m)  2m ago     12m  15.2.16  quay.io/ceph/ceph:v15                     296d7fe77d4e  f7ada88e07aa
osd.1                          ceph01.example.com  running (11m)  2m ago     11m  15.2.16  quay.io/ceph/ceph:v15                     296d7fe77d4e  286a0513c451
osd.2                          ceph01.example.com  running (10m)  2m ago     10m  15.2.16  quay.io/ceph/ceph:v15                     296d7fe77d4e  f65a9be01916
prometheus.ceph01              ceph01.example.com  running (25m)  2m ago     25m  2.18.1   quay.io/prometheus/prometheus:v2.18.1     de242295e225  fbebcbe1b1cf
[ceph: root@ceph01 /]#

增加其他节点的osd

[ceph: root@ceph01 /]# ceph orch daemon add osd ceph02.example.com:/dev/sdb
Created osd(s) 3 on host 'ceph02.example.com'
[ceph: root@ceph01 /]# ceph orch daemon add osd ceph02.example.com:/dev/sdc
Created osd(s) 4 on host 'ceph02.example.com'
[ceph: root@ceph01 /]# ceph orch daemon add osd ceph02.example.com:/dev/sdd
Created osd(s) 5 on host 'ceph02.example.com'
[ceph: root@ceph01 /]# 

[ceph: root@ceph01 /]# ceph orch daemon add osd ceph03.example.com:/dev/sdb
Created osd(s) 6 on host 'ceph03.example.com'
[ceph: root@ceph01 /]# ceph orch daemon add osd ceph03.example.com:/dev/sdc
Created osd(s) 7 on host 'ceph03.example.com'
[ceph: root@ceph01 /]# ceph orch daemon add osd ceph03.example.com:/dev/sdd
Created osd(s) 8 on host 'ceph03.example.com'
[ceph: root@ceph01 /]#

加入主机后，每个主机都应该有镜像docker ps 查看（其他hosts需要什么镜像就会自动下载什么）

查看

[ceph: root@ceph01 /]# ceph osd tree
ID  CLASS  WEIGHT   TYPE NAME        STATUS  REWEIGHT  PRI-AFF
-1         0.17537  root default
-3         0.05846      host ceph01
0    hdd  0.01949          osd.0        up   1.00000  1.00000
1    hdd  0.01949          osd.1        up   1.00000  1.00000
2    hdd  0.01949          osd.2        up   1.00000  1.00000
-5         0.05846      host ceph02
3    hdd  0.01949          osd.3        up   1.00000  1.00000
4    hdd  0.01949          osd.4        up   1.00000  1.00000
5    hdd  0.01949          osd.5        up   1.00000  1.00000
-7         0.05846      host ceph03
6    hdd  0.01949          osd.6        up   1.00000  1.00000
7    hdd  0.01949          osd.7        up   1.00000  1.00000
8    hdd  0.01949          osd.8        up   1.00000  1.00000

图形界面也可以查看，也比较好

[ceph: root@ceph01 /]# ceph orch device ls
Hostname            Path      Type  Serial  Size   Health   Ident  Fault  Available
ceph01.example.com  /dev/sdb  hdd           21.4G  Unknown  N/A    N/A    No
ceph01.example.com  /dev/sdc  hdd           21.4G  Unknown  N/A    N/A    No
ceph01.example.com  /dev/sdd  hdd           21.4G  Unknown  N/A    N/A    No
ceph02.example.com  /dev/sdb  hdd           21.4G  Unknown  N/A    N/A    No
ceph02.example.com  /dev/sdc  hdd           21.4G  Unknown  N/A    N/A    No
ceph02.example.com  /dev/sdd  hdd           21.4G  Unknown  N/A    N/A    No
ceph03.example.com  /dev/sdb  hdd           21.4G  Unknown  N/A    N/A    No
ceph03.example.com  /dev/sdc  hdd           21.4G  Unknown  N/A    N/A    No
ceph03.example.com  /dev/sdd  hdd           21.4G  Unknown  N/A    N/A    No
[ceph: root@ceph01 /]# 

查看编排情况

[root@ceph01 ceph]# mv ceph.conf ~/
[root@ceph01 ceph]# ceph -s
Error initializing cluster client: ObjectNotFound('RADOS object not found (error calling conf_read_file)',)

就算有命令，没配置文件，也无法访问

[root@ceph01 ceph]# cat ceph.conf
# minimal ceph.conf for cb8f4abe-14a7-11ed-a76d-000c2939fb75
[global]
    fsid = cb8f4abe-14a7-11ed-a76d-000c2939fb75
    mon_host = [v2:192.168.92.11:3300/0,v1:192.168.92.11:6789/0]

配置文件里写着mon（入口地址，类似keystone）