NTP服务配置

NTP客户端配置

# vim /etc/ntp.conf

server 92.0.0.250

### 手动同步下时间

# ntpdate -u 92.0.0.250

### 启动服务

# systemctl start ntpd

# systemctl enable ntpd

### 检查同步

# ntpq -p

监控节点配置（方式一）

以下指令在anode节点执行

为CEPH集群生成UUID

# uuidgen

cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

# tee /etc/ceph/ceph.conf << EOF

[global]

fsid = cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

[mon.anode]

host = anode

mon addr = 92.0.0.11:6789

EOF

创建集群密钥环以及监视器密钥

# ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

创建管理员密钥环，生成client.admin用户，然后添加用户到环上

# ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

创建一个bootstrap-osd密钥环，生成client.bootstrap-osd用户，然后添加用户到环上

# ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd'

将生成的密钥添加到ceph.mon.keyring

# ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

# ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

创建监视器映射

# monmaptool --create --add anode 92.0.0.11 --fsid cb9321ef-c7b4-48f7-a1bf-5c75deede6ee /tmp/monmap

创建默认数据目录

# mkdir -p /var/lib/ceph/mon/ceph-anode

使用监视器映射和密钥环填充监视器服务

# ceph-mon --mkfs -i anode --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

更新配置文件

# tee /etc/ceph/ceph.conf << EOF

[global]

fsid = cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

auth cluster required = cephx

auth service required = cephx

auth client required = cephx

osd journal size = 1024

osd pool default size = 2

osd pool default min size = 1

osd pool default pg num = 128

osd pool default pgp num = 128

osd crush chooseleaf type = 1

[mon.anode]

host = anode

mon addr = 92.0.0.11:6789

EOF

标记监视器服务就绪

# touch /var/lib/ceph/mon/ceph-anode/done

启动监视器服务

### 有两种方式启动服务

### 方式一：修改数据目录权限

# chown -R ceph:ceph /var/lib/ceph

### 方式二：修改服务启动脚本

# vim /usr/lib/systemd/system/ceph-mon@.service

ExecStart=/usr/bin/ceph-mon -f --cluster ${CLUSTER} --id %i --setuser root --setgroup root

# systemctl daemon-reload

### 启动服务

# systemctl start ceph-mon@anode

# systemctl enable ceph-mon@anode

### 检测服务

# ceph -s

  services:

    mon: 1 daemons, quorum anode

    mgr: no daemons active

    osd: 0 osds: 0 up, 0 in

添加监控节点

以下指令在bnode节点执行

拷贝配置文件和客户端密钥

# scp root@92.0.0.11:/etc/ceph/ceph.conf /etc/ceph/

# scp root@92.0.0.11:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

获取监控集群密钥环

# ceph auth get mon. -o /tmp/ceph.mon.keyring

获取监控集群映射文件

# ceph mon getmap -o /tmp/monmap

使用监视器映射和密钥环填充新的监视器服务

# ceph-mon --mkfs -i bnode --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

修改配置文件

### 配置文件的mon.anode是让你在没有配置bnode的时候让ceph mon命令知道怎么去连接ceph monitor集群（删除后会发现命令报错），在配置好bnode后，可以删除anode的配置也可以不删除，后面配置cnode的时候可以使用bnode的配置也可以使用anode的配置

# vim /etc/ceph/ceph.conf

[global]

fsid = cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

auth cluster required = cephx

auth service required = cephx

auth client required = cephx

osd journal size = 1024

osd pool default size = 2

osd pool default min size = 1

osd pool default pg num = 128

osd pool default pgp num = 128

osd crush chooseleaf type = 1

[mon.bnode]

host = bnode

mon addr = 92.0.0.12:6789

标记监视器服务就绪

# touch /var/lib/ceph/mon/ceph-bnode/done

启动监视器服务

# chown -R ceph:ceph /var/lib/ceph

### 启动服务

# systemctl start ceph-mon@bnode

# systemctl enable ceph-mon@bnode

### 检测服务

# ceph -s

  services:

    mon: 2 daemons, quorum anode,bnode

    mgr: no daemons active

    osd: 0 osds: 0 up, 0 in

同理添加cnode节点（配置文件可以拷贝anode节点的也可以拷贝bnode节点的）

# ceph -s

  services:

    mon: 3 daemons, quorum anode,bnode,cnode

    mgr: no daemons active

    osd: 0 osds: 0 up, 0 in

配置管理服务

以下指令在anode节点执行

创建密钥文件

# name="kolla"

# mkdir -p /var/lib/ceph/mgr/ceph-$name

# ceph auth get-or-create mgr.$name mon 'allow profile mgr' osd 'allow *' mds 'allow *' -o /var/lib/ceph/mgr/ceph-$name/keyring

启动服务

# chown -R ceph:ceph /var/lib/ceph

# systemctl start ceph-mgr@$name

# systemctl status ceph-mgr@$name

# systemctl enable ceph-mgr@$name

查询服务

# ceph -s

  services:

    mon: 3 daemons, quorum anode,bnode,cnode

    mgr: kolla(active)

    osd: 2 osds: 2 up, 2 in

同理配置好bnode和cnode节点

# ceph -s

  services:

    mon: 3 daemons, quorum anode,bnode,cnode

    mgr: kolla(active, starting)

    osd: 2 osds: 2 up, 2 in

查询命令帮助

# ceph tell mgr help

监控节点配置（方式二）

以下指令在anode节点执行

为CEPH集群生成UUID

# uuidgen

cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

# tee /etc/ceph/ceph.conf << EOF

[global]

fsid = cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

auth cluster required = cephx

auth service required = cephx

auth client required = cephx

osd journal size = 1024

osd pool default size = 2

osd pool default min size = 1

osd pool default pg num = 128

osd pool default pgp num = 128

osd crush chooseleaf type = 1

mon initial members = anode, bnode, cnode

mon host = 92.0.0.11, 92.0.0.12, 92.0.0.13

EOF

创建集群密钥环以及监视器密钥

# ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'

创建管理员密钥环，生成client.admin用户，然后添加用户到环上

# ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --set-uid=0 --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

创建一个bootstrap-osd密钥环，生成client.bootstrap-osd用户，然后添加用户到环上

# ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd'

将生成的密钥添加到ceph.mon.keyring

# ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring

# ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring

创建监视器映射

# monmaptool --create --add anode 92.0.0.11 --add bnode 92.0.0.12 --add cnode 92.0.0.13 --fsid cb9321ef-c7b4-48f7-a1bf-5c75deede6ee --clobber /tmp/monmap

# monmaptool --print /tmp/monmap

创建默认数据目录

# mkdir -p /var/lib/ceph/mon/ceph-anode

使用监视器映射和密钥环填充监视器服务

# ceph-mon --mkfs -i anode --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

标记监视器服务就绪

# touch /var/lib/ceph/mon/ceph-anode/done

启动监视器服务

### 启动服务

# chown -R ceph:ceph /var/lib/ceph

# systemctl start ceph-mon@anode

# systemctl enable ceph-mon@anode

### 检测服务

# ceph daemon mon.anode mon_status

添加监控节点

以下指令在bnode节点执行

拷贝配置文件、密钥和监视器映射

# scp root@92.0.0.11:/etc/ceph/ceph.conf /etc/ceph/

# scp root@92.0.0.11:/tmp/ceph.mon.keyring /tmp

# scp root@92.0.0.11:/tmp/monmap /tmp

创建默认数据目录

# mkdir -p /var/lib/ceph/mon/ceph-bnode

使用监视器映射和密钥环填充监视器服务

# ceph-mon --mkfs -i bnode --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

标记监视器服务就绪

# touch /var/lib/ceph/mon/ceph-bnode/done

启动监视器服务

### 启动服务

# chown -R ceph:ceph /var/lib/ceph

# systemctl start ceph-mon@banode

# systemctl enable ceph-mon@bnode

### 检测服务

# ceph daemon mon.bnode mon_status

同理添加cnode节点

添加OSDS

方式一：脚本（dnode）

以下指令在dnode节点执行

拷贝配置文件和密钥环

# scp root@92.0.0.11:/etc/ceph/ceph.conf /etc/ceph/

# scp root@92.0.0.11:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

# scp root@92.0.0.11:/var/lib/ceph/bootstrap-osd/ceph.keyring /var/lib/ceph/bootstrap-osd/

创建OSD

# ceph-volume lvm create --data /dev/vdb

Running command: ceph-authtool --gen-print-key

Running command: ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new 2d6a968f-9c10-4c57-adb6-be0a1341581b

Running command: vgcreate --force --yes ceph-cb9321ef-c7b4-48f7-a1bf-5c75deede6ee /dev/vdb

 stdout: Physical volume "/dev/vdb" successfully created

 stdout: Volume group "ceph-cb9321ef-c7b4-48f7-a1bf-5c75deede6ee" successfully created

Running command: lvcreate --yes -l 100%FREE -n osd-block-2d6a968f-9c10-4c57-adb6-be0a1341581b ceph-cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

 stdout: Logical volume "osd-block-2d6a968f-9c10-4c57-adb6-be0a1341581b" created.

Running command: ceph-authtool --gen-print-key

Running command: mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0

Running command: chown -R ceph:ceph /dev/dm-4

Running command: ln -s /dev/ceph-cb9321ef-c7b4-48f7-a1bf-5c75deede6ee/osd-block-2d6a968f-9c10-4c57-adb6-be0a1341581b /var/lib/ceph/osd/ceph-0/block

Running command: ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-0/activate.monmap

 stderr: got monmap epoch 5

Running command: ceph-authtool /var/lib/ceph/osd/ceph-0/keyring --create-keyring --name osd.0 --add-key AQDR0sFaI6fMAxAAhoZKkXR29nUPbWCeAAibkg==

 stdout: creating /var/lib/ceph/osd/ceph-0/keyring

 stdout: added entity osd.0 auth auth(auid = 18446744073709551615 key=AQDR0sFaI6fMAxAAhoZKkXR29nUPbWCeAAibkg== with 0 caps)

Running command: chown -R ceph:ceph /var/lib/ceph/osd/ceph-0/keyring

Running command: chown -R ceph:ceph /var/lib/ceph/osd/ceph-0/

Running command: ceph-osd --cluster ceph --osd-objectstore bluestore --mkfs -i 0 --monmap /var/lib/ceph/osd/ceph-0/activate.monmap --keyfile - --osd-data /var/lib/ceph/osd/ceph-0/ --osd-uuid 2d6a968f-9c10-4c57-adb6-be0a1341581b --setuser ceph --setgroup ceph

--> ceph-volume lvm prepare successful for: /dev/vdb

Running command: ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-cb9321ef-c7b4-48f7-a1bf-5c75deede6ee/osd-block-2d6a968f-9c10-4c57-adb6-be0a1341581b --path /var/lib/ceph/osd/ceph-0

Running command: ln -snf /dev/ceph-cb9321ef-c7b4-48f7-a1bf-5c75deede6ee/osd-block-2d6a968f-9c10-4c57-adb6-be0a1341581b /var/lib/ceph/osd/ceph-0/block

Running command: chown -R ceph:ceph /dev/dm-4

Running command: chown -R ceph:ceph /var/lib/ceph/osd/ceph-0

Running command: systemctl enable ceph-volume@lvm-0-2d6a968f-9c10-4c57-adb6-be0a1341581b

 stderr: Created symlink from /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-2d6a968f-9c10-4c57-adb6-be0a1341581b.service to /usr/lib/systemd/system/ceph-volume@.service.

Running command: systemctl start ceph-osd@0

--> ceph-volume lvm activate successful for osd ID: 0

--> ceph-volume lvm activate successful for osd ID: None

--> ceph-volume lvm create successful for: /dev/vdb

查询集群状态

# ceph -s

  services:

    mon: 3 daemons, quorum anode,bnode,cnode

    mgr: no daemons active

    osd: 1 osds: 1 up, 1 in

方式二：手动（enode）

以下指令在enode节点执行

拷贝配置文件和密钥环

# scp root@92.0.0.11:/etc/ceph/ceph.conf /etc/ceph/

# scp root@92.0.0.11:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

# scp root@92.0.0.11:/var/lib/ceph/bootstrap-osd/ceph.keyring /var/lib/ceph/bootstrap-osd/

为OSD生成UUID

# UUID=$(uuidgen)

为OSD创建cephx密钥

# OSD_SECRET=$(ceph-authtool --gen-print-key)

创建OSD

### ceph命令-i原本是要指定一个json文件，这边使用管道操作中的"-"将前面echo的输出结果作为文件

# ID=$(echo "{\"cephx_secret\": \"$OSD_SECRET\"}" | ceph osd new $UUID -i - -n client.bootstrap-osd -k /var/lib/ceph/bootstrap-osd/ceph.keyring)

为OSD创建数据目录

# mkdir /var/lib/ceph/osd/ceph-$ID

挂载磁盘到数据目录上

# mkfs.xfs /dev/vdb

# mount /dev/vdb /var/lib/ceph/osd/ceph-$ID

修改fstab配置

### 在配置文件末尾添加

# vim /etc/fstab

/dev/vdb /var/lib/ceph/osd/ceph-1               xfs     defaults        0 0

创建OSD密钥文件

# ceph-authtool --create-keyring /var/lib/ceph/osd/ceph-$ID/keyring --name osd.$ID --add-key $OSD_SECRET

初始化OSD数据目录

# ceph-osd -i $ID --mkfs --osd-uuid $UUID

启动服务

# chown -R ceph:ceph /var/lib/ceph/osd/ceph-$ID

# systemctl enable ceph-osd@$ID

# systemctl start ceph-osd@$ID

查询集群状态

# ceph -s

  services:

    mon: 3 daemons, quorum anode,bnode,cnode

    mgr: no daemons active

    osd: 2 osds: 2 up, 2 in

添加MDS节点

以下指令在anode节点执行

创建 MDS 数据目录

# mkdir -p /var/lib/ceph/mds/ceph-anode

创建密钥环

# ceph-authtool --create-keyring /var/lib/ceph/mds/ceph-anode/keyring --gen-key -n mds.anode

导入密钥环并设置权限

# ceph auth add mds.anode osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-anode/keyring

修改配置文件

# vim /etc/ceph/ceph.conf

[global]

fsid = cb9321ef-c7b4-48f7-a1bf-5c75deede6ee

auth cluster required = cephx

auth service required = cephx

auth client required = cephx

osd journal size = 1024

osd pool default size = 2

osd pool default min size = 1

osd pool default pg num = 128

osd pool default pgp num = 128

osd crush chooseleaf type = 1

[mon.anode]

host = anode

mon addr = 92.0.0.11:6789

[mds.anode]

host = anode

启动服务

# chown -R ceph:ceph /var/lib/ceph

# systemctl start ceph-mds@anode

# systemctl status ceph-mds@anode

# systemctl enable ceph-mds@anode

参考文档

ceph集群的部署

ceph集群之-添加删除Monitor

CEPH安装教程（中）的更多相关文章

  1. CEPH安装教程（上）

    环境拓扑 主机 配置 地址 运行服务 node CPU:1 内存:2GB 磁盘:vda(20GB) br-mgmt:92.0.0.250 br-ex:192.168.203.250/19 ntp an ...

  2. CEPH安装教程（下）

    创建 CEPH 文件系统 创建存储池 # ceph osd pool create cephfs_data 64 # ceph osd pool create cephfs_metadata 64 创 ...

  3. git\CentOS6.5中gitlab安装教程

    一.Git 起源: Git是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目. Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本 ...

  4. zz Windows 10安装教程：硬盘安装Win10 系统步骤（适合32位和64位）

    Windows 10安装教程:硬盘安装Win10 系统步骤(适合32位和64位) Posted on 2015年01月28日 by 虾虾 22 Comments   最新的Windows 10 MSD ...

  5. arcgis10.2下载安装教程

    ArcGIS Desktop 10.2 完全安装教程(含win7 32/64位+下载地址+亲测可用) 时间: 2014年08月20日   阅读: 622,262   分类: GIS探秘   标签: A ...

  6. Ceph编译安装教程

    Ceph官方版本目前支持的纠删码很有限,实验室这块希望能够整合我们自主开发的纠删码BRS(Binary Reed–Solomon encoding),所以需要编译Ceph环境.Ceph官方目前推荐的安 ...

  7. Hadoop学习---Ubuntu中hadoop完全分布式安装教程

    软件版本 Hadoop版本号:hadoop-2.6.0-cdh5.7.0: VMWare版本号:VMware 9或10 Linux系统:CentOS 6.4-6.5 或Ubuntu版本号:ubuntu ...

  8. linux中RabbitMQ安装教程

    linux中RabbitMQ安装教程 在做一个微服务项目时候用到消息队列,于是深入了解了消息队列知识,并在linux上安装了Rabbitmq,本博客介绍Rabbitmq的安装教程,想要深入了解消息队列 ...

  9. sap2000v21安装教程（附详细安装步骤+中文安装包）

    sap2000 v21是sap2000系列软件的全新版本,也是目前行业中的一款用于结构分析和设计的集成软件,该软件保持了原有产品的传统,具有完善.直观和灵活的界面,能够在交通运输.工业.公共事业.体育 ...

随机推荐

  1. Oracle的select检索数据

    --Select语法 select [distinct | All] select_list from table_list [where_clause] [group_by_clause] [Hav ...

  2. Function Pointers in C

    来源:https://cs.nyu.edu/courses/spring12/CSCI-GA.3033-014/Assignment1/function_pointers.html Function ...

  3. python 链接sharepoint 2013 REST api

    import requests,simplejson from requests_ntlm import HttpNtlmAuth p1 = requests.get("http://you ...

  4. Eclipse_常用技巧_02_使用Eclipse进行源码分析

    1.分析java类和接口的继承关系 具体做法: 在代码区中选择需要的类和接口定义,然后右击,选择“Open Type Hiberarchy”,可以在“Hiberarchy View”中看到继承关系 快 ...

  5. html5 tab横向滚动,无滚动条（transform：translate）

    html5 横向滚动,用到了 touchstart.touchmove.touchend 控制修改transform:translate属性;[手机端或者浏览器模拟手机模式才有效果] [转载请注明出处 ...

  6. 将jsp页面内容保存到excel（转）

    在此,强调一下搜索时关键词的重要性,这样一下子可以定位到文章,否则处于盲人摸象,毫无目的尴尬境地.本篇就是通过export jsp to excel找到的. 原文地址:How to Export We ...

  7. BEC listen and translation exercise 48

    It's not publicly known who the kidnappers were. Because they are not eating such lovely food since ...

  8. jspsmartupload 文件上传让input数据和文件上传同时提交

    一.使用原因: 文件上传时,表单的属性中必须要有multipart/form-data,如以下例子: <form name="form_post" class="a ...

  9. 2017-2018-1 20179203 《Linux内核原理与分析》第七周作业及第三周测试总结

    攥写人:李鹏举 学号:20179203 ( 原创作品转载请注明出处) ( 学习课程:<Linux内核分析>MOOC课程http://mooc.study.163.com/course/US ...

  10. ssh免密码登录配置方法，（图示加命令）

    首先,说明一下我们要做的是,serverA 服务器的 usera 用户免密码登录 serverB 服务器的 userb用户. 我们先使用usera 登录 serverA 服务器 [root@serve ...