ceph分布式存储

存储分类：

DAS:直连存储    ide线  sata线   usd线   sas线

NAS:网络附加存储   nfs   samba   ftp

SAN:存储区域网络      issci

SDS:软件定义存储    ceph

ceph组件：OSD存储设备   Monitors集群监控组件  RGW(ceph-redowsgw)对象存储网关  MDS存放文件系统的元数据

注：montiitors至少需要3台   因为过半原则超过一半几台宕机整个集群都不能用了

例：  有三台机  41（node1)  42  (node2)   43  (node3)

1.部署ceph集群

环境准备    配置yum源

集群几台无密码连接（包括自己免密自己）

ssh-keygen

for i in 41  42   43  ;  do  ssh-copy-id  192.168.1.$i ; done

/etc/hosts  域名解析    （三台机都做）

vim /etc/hosts

192.168.1.41   node1

192.168.1.42   node2

192.168.1.43   node3

for i in 41  42   43  ;  do  scp /etc/hosts  192.168.1.$i :/etc/hosts ; done

配置NTP服务时间同步

vim  /etc/chrony.conf

server   192.168.1.254  iburst

systemclt   restart  chronyd

for  i   in    node1   node2  node3

do

scp  /etc/chrony.conf   $i:/etc/chrony.conf

ssh  $i  "systemctl  restart  chronyd"

done

安装ceph-deploy软件(node1 做就行)

yum  -y  install   ceph-deploy

mkdir  ceph-deploy

cd    ceph-deploy

给所有节点安装ceph相关软件包

for  i  in  node1  node2  node3

do

ssh  $i  "yum  -y  install  ceph-mon  ceph-osd   ceph-mds   ceph-redowsgw"

done

常见ceph集群配置在ceph-cluster目录下生成ceph配置文件

ceph-deploy  new   node1  node2  node3

在ceph.conf配置文件里定义mon主机是谁

初始化所有节点mon服务也是启动mon服务

ceph-deploy  mon   create-initial

2.创建OSD

给每台机准备3个磁盘  2个做存储服务器1各做缓存服务器     注：如果是机台比较多  mon  和osd  分开做的话  只需要给osd机台添加磁盘就可以了

把一个磁盘划分两个分区做令两外两个磁盘的缓存盘

for  i  in  node1  node2  node2

do

ssh  $i  "parted  /dev/vdb   mklabel  gpt"

ssh  $i    "parted  /dev/vdb  mkpart    primary  1   50%"

ssh  $i   "parted   /dev/vdb   mkpart   primary   50%   100%"

done

修改权限   （三台机都要做）

chown   ceph.ceph  /dev/vdb1            chown  ceph.ceph  /dev/vdb2

vim   /etc/vdev/rules.d/70-vdb.rules

ENV{DEVNAME}=="/dev/vdb1"     DENER="ceph",GROUP="ceph"

ENV{DEVNAME}=="/dev/vdb2"     DENER="ceph",GROUP="ceph"

初始化清空磁盘   node1做即可

ceph-deploy  disk   zap   node1:vdc    node1:vdd

ceph-deploy  disk   zap   node2:vdc    node1:vdd

ceph-deploy  disk   zap   node3:vdc    node1:vdd

创建osd存储空间

ceph-deploy  osd  create   node1:vdc:/dev/vdb1   node1:vdd:/dev/vdb2       node2:vdc:/dev/vdb1   node2:vdd:/dev/vdb2     node3:vdc:/dev/vdb1   node3:vdd:/dev/vdb2

ceph  -s      查看集群状态

3.创建ceph块存储

ceph  osd   lspools   查看存储池

创建镜像      rbd  create   demo-image      --image -feature  layering  --size   10G      注： demo-image是镜像名可自定义     10G是大小

rbd  info  demo-image     查看镜像

4 扩大空间

rbd  resize  --size   15G   demo-image

客户机访问需要：

yum -y install   ceph-common

scp  192.168.1.41:/ceph/ceph.conf     /etc/ceph       注：拷贝配置文件到客户机不然不知道集群在哪

scp  192.168.1.41:/etc/ceph/ceph.client.admin.keying    /etc/ceph      注：拷贝免密   避免无连接权限

rbd   showmapped    查看块存储详细信息

rbd   map    demo-image     查看可以挂载的存储

mkfs.xfs    /dev/rbd

mount   /dev/rbd    /mnt/