块存储管理系列文章

(1)RBD 基本使用 - Storage6

(2)iSCSI 网关管理 - Storage6

(3)使用 librbd 将虚拟机运行在 Ceph RBD

(4)RBD Mirror 容灾


Ceph 块存储

Ceph 块设备允许共享物理资源,并且可以调整大小。它们会在 Ceph 集群中的多个 OSD 上等量存储数据。Ceph 块设备会利用 RADOS 功能,例如创建快照、复制和一致性。Ceph 的 RADOS块设备 (RBD) 使用内核模块或 librbd 库与 OSD 交互。

Ceph 的块设备为内核模块提供高性能及无限的可扩展性。它们支持虚拟化解决方案(例如QEMU)或依赖于 libvirt 的基于云的计算系统(例如 OpenStack)。您可以使用同一个集群来同时操作对象网关、CephFS 和 RADOS 块设备。

创建RBD

(1) 客户端安装rbd包

# zypper se ceph-common
# zypper in ceph-common

(2)显示帮助信息

# rbd help <command> <subcommand>
# rbd help snap list

(3) 复制配置文件和key

# scp admin:/etc/ceph/ceph.conf .
# scp admin:/etc/ceph/ceph.client.admin.keyring .

(4)创建块设备

# ceph osd pool create rbd   replicated
# rbd create test001 --size --pool rbd
# rbd ls
test001

(5)映射块设备

# rbd map test001
/dev/rbd0

(6)查看已映射设备

# rbd showmapped
id pool image snap device
rbd test001 - /dev/rbd0

(7)格式化块设备,并且挂载

# mkfs.xfs -q /dev/rbd0
# mkdir /mnt/ceph-test001
# mount /dev/rbd/rbd/test001 /mnt/ceph-test001/

注意:rbd的指令如果省略-p / --pool参数,则会默认-p rbd,而这个rbd pool是默认生成的。

  • 检查挂载情况
# df -Th
Filesystem              Type      Size  Used Avail Use% Mounted on
/dev/rbd0 xfs 1014M 33M 982M % /mnt/ceph-test001
  • 检查rbd镜像的信息
# rbd --image test001 info
rbd image 'test001':
size GiB in objects
order ( MiB objects)
snapshot_count:
id: 408ea3f9d1c3b
block_name_prefix: rbd_data.408ea3f9d1c3b
format:
features: layering
op_features:
flags:
create_timestamp: Mon Sep ::
access_timestamp: Mon Sep ::
modify_timestamp: Mon Sep ::
  • size: 就是这个块的大小,即1024MB=1G,1024MB/256 = 4M,共分成了256个对象(object),每个对象4M
  • order 22, 22是个编号,4M是22, 8M是23,也就是2^22 bytes = 4MB, 2^23 bytes = 8MB。
  • block_name_prefix: 这个是块的最重要的属性了,这是每个块在ceph中的唯一前缀编号,有了这个前缀,把服务器上的OSD都拔下来带回家,就能复活所有的VM了。
  • format : 格式有两种,1和2

(8) 设置自动挂载

# vim /etc/ceph/rbdmap
rbd/test001 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring
# systemctl start rbdmap.service
# systemctl enable rbdmap.service
# systemctl status rbdmap.service
# vim /etc/fstab
/dev/rbd/rbd/test001 /mnt/ceph-test001 xfs defaults,noatime,_netdev
# mount -a

RBD 扩容 缩容

(1)查看rbd0 原有大小为1024M

# df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/rbd0 xfs 1014M 33M 982M % /mnt/ceph-test001

# rbd --image test001 info
rbd image 'test001':
size 1 GiB in 256 objects
order 22 (4 MiB objects)
snapshot_count: 0
id: 408ea3f9d1c3b
block_name_prefix: rbd_data.408ea3f9d1c3b
format: 2
features: layering
op_features:
flags:

(2)在线扩容

# rbd resize rbd/test001 --size
Resizing image: % complete...done.
# rbd --image test001 info
rbd image 'test001':
size 4 GiB in 1024 objects
order ( MiB objects)
snapshot_count:
id: 408ea3f9d1c3b
block_name_prefix: rbd_data.408ea3f9d1c3b
format:
features: layering
op_features:
flags:
create_timestamp: Mon Sep ::
access_timestamp: Mon Sep ::
modify_timestamp: Mon Sep ::

(3)文件系统扩容

# xfs_growfs /mnt/ceph-test001/
# df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/rbd0 xfs 4.0G 34M .0G % /mnt/ceph-test001

(4)在线缩小(XFS文件系统不支持缩小)

# rbd -p rbd resize test001 --size  --allow-shrink

RBD 快照和回滚

  • 快照: 某块设备在一个特定时间点的一份只读副本,可以通过创建和恢复快照来保持RBD镜像的状体已经从快照恢复原始数据。
  • 快照是在集群中操作,并不知道客户端是否有额外的数据,当有很重的IO时,会有dirt脏数据没有刷到磁盘上去,快照是无法保持这部分数据。
  • Ceph 支持快照分层,这可让您轻松快速地克隆 VM 映像。
  • Ceph 使用 rbd 命令和许多高级接口(包括QEMU、 libvirt 、OpenStack 和 CloudStack)支持块设备快照。
  • 注意:做快照前,请先客户端停止IO并同步块数据。

1)     在block设备上创建文件

# echo "Ceph This is snapshot test" > /mnt/ceph-test001/snapshot_test_file

# cat /mnt/ceph-test001/snapshot_test_file 

Ceph This is snapshot test

2)     创建快照

语法:rbd snap create <pool-name>/<image-name>@<snap-name>

# rbd snap create rbd/test001@test001_snap

3)     显示创建的快照

# rbd snap ls rbd/test001
SNAPID NAME SIZE TIMESTAMP
test001_snap 1GiB Mon Feb ::

4)     删除文件

# rm -rf /mnt/ceph-test001/snapshot_test_file

5)     通过快照恢复

语法:rbd snap rollback <pool-name>/<image-name>@<snap-name>

# rbd snap rollback rbd/test001@test001_snap
# umount /mnt/ceph-test001
# mount –a # ll /mnt/ceph-test001/
total
-rw-r--r-- root root Jul : snapshot_test_file

6)     清除快照,表示所有的快照都删除

语法:rbd --pool {pool-name} snap purge {image-name}

rbd snap purge {pool-name}/{image-name}

# rbd snap purge rbd/test001

7)     删除快照,表示只删除指定的快照

语法:rbd snap rm <pool-name>/<image-name>@<snap-name> 
# rbd snap rm rbd/test001@test001_snap
# rbd snap ls rbd/test001 # 再次显示快照已经没有了

快照分层 / RBD克隆

  • 分层:支持创建某一设备快照的很多写时复制( COW)克隆。分层快照使得ceph块设备客户端可以很快地创建映射,分层特性允许客户端创建多个Ceph RBD克隆实例。
  • 快照是只读的,但COW克隆是完全可写的

(1)Clone必须rbd的image是类型 II

# rbd info test001
rbd image 'test001':
size GiB in objects
order ( MiB objects)
snapshot_count:
id: 408ea3f9d1c3b
block_name_prefix: rbd_data.408ea3f9d1c3b
format:
features: layering
op_features:
flags:
create_tim

(2)SUSE默认是类型II,如不是,创建时添加 --image-format 2参数

# rbd create test001 --size  --image-format
# rbd create test002 --size --image-format # rbd info test002
rbd image 'test002':
size MB in objects
order ( kB objects)
block_name_prefix: rb..b3dd.74b0dc51
format:

(3)创建COW克隆,首先要保护这个快照

克隆会访问父快照。如果用户意外删除了父快照,则所有克隆都会损坏。为了防止数据丢失,您需要先保护快照,然后才能克隆它。

# rbd snap create rbd/test001@test001_snap       # 创建快照
# rbd snap protect rbd/test001@test001_snap # 保护
# rbd -p rbd ls -l
NAME SIZE PARENT FMT PROT LOCK
test001 GiB
test001@test001_snap GiB yes <=== protect
test002 GiB

(4)快照克隆

语法:rbd clone {pool-name}/{parent-image}@{snap-name} {pool-name}/{child-image-name}

# rbd clone rbd/test001@test001_snap rbd/test001_snap_clone

注意:可以将快照从一个存储池克隆到另一个存储池中的映像。例如,可以在一个存储池中将只读映像和快照作为模板维护,而在另一个存储池中维护可写入克隆

# ceph osd pool create rbd_clone   replicated
# rbd clone rbd/test001@test001_snap rbd_clone/test001_snap_rbd_clone

(5) 检查新镜像信息

# rbd ls
test001
test001_snap_clone
test002
# rbd ls -p rbd_clone
test001_snap_rbd_clone
# rbd info rbd/test001_snap_clone
rbd image 'test001_snap_clone':
size GiB in objects
order ( MiB objects)
snapshot_count:
id: 4153d12df2e2e
block_name_prefix: rbd_data.4153d12df2e2e
format:
features: layering
op_features:
flags:
create_timestamp: Mon Sep ::
access_timestamp: Mon Sep ::
modify_timestamp: Mon Sep ::
parent: rbd/test001@test001_snap
overlap: GiB
  • 显示children of snapshot
# rbd children rbd/test001@test001_snap
rbd/test001_snap_clone
rbd_clone/test001_snap_rbd_clone

(6)平展克隆的映像

不在使用父镜像快照,所谓的完整克隆而不是之前的链接克隆,提高性能。

语法:# rbd --pool pool-name flatten --image image-name

# rbd flatten rbd/test001_snap_clone
Image flatten: % complete...done. # rbd flatten rbd_clone/test001_snap_rbd_clone
  • 会发现父镜像/快照的名字不存在了,并且克隆是独立的
# rbd info rbd/test001_snap_clone
rbd image 'test001_snap_clone':
size GiB in objects
order ( MiB objects)
snapshot_count:
id: 4153d12df2e2e
block_name_prefix: rbd_data.4153d12df2e2e
format:
features: layering
op_features:
flags:
create_timestamp: Mon Sep ::
access_timestamp: Mon Sep ::
modify_timestamp: Mon Sep ::

(7)取消保护快照

# rbd info rbd/test001@test001_snap          
rbd image 'test001':
size GiB in objects
order ( MiB objects)
snapshot_count:
.......
protected: True

# rbd snap unprotect rbd/test001@test001_snap   # 取消保护的

# rbd info rbd/test001@test001_snap 
rbd image 'test001':
        size 4 GiB in 1024 objects
        order 22 (4 MiB objects)
  ......
        protected: False

迁移RBD

(1)导出 RBD 镜像

语法:rbd export [image-name] [dest-path]

# rbd export test001 /tmp/test001_rbd_image
Exporting image: 100% complete...done

(2)导入 RBD 镜像

语法:# rbd import [path] [dest-image]

# rbd import /tmp/test001_rbd_image test002      
Importing image: 100% complete...done. # rbd ls
test001
test002 # rbd info test002
rbd image 'test002':
        size 4 GiB in 1024 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 40b02f91b3a9d
        block_name_prefix: rbd_data.40b02f91b3a9d
        format: 2
        features: layering
        op_features:
        flags:

如何确认 RBD 镜像被那个客户端使用?

(1)通过 rbd status 命令确认镜像被那个客户端所使用

# rbd -p rbd ls
test001
test002
# rbd status rbd/test001
Watchers:
watcher=192.168.2.39:/ client. cookie=

可以看到该镜像或者instance属于192.168.2.39 IP地址

(2)RBD 头部信息
  • 查看镜像信息
# rbd info test001
rbd image 'test001':
size GiB in objects
order ( MiB objects)
snapshot_count:
id: 408ea3f9d1c3b
block_name_prefix: rbd_data.408ea3f9d1c3b
format:
features: layering
  • 通过头部信息查找
# rados -p rbd listwatchers rbd_header.408ea3f9d1c3b
watcher=192.168.2.39:/ client. cookie=
  • 脚本通过遍历池信息查找
# for each in `rados -p rbd ls | grep rbd_header`; do echo $each: && rados -p \
  rbd listwatchers $each && echo -e '\n';done

rbd_header.408ea3f9d1c3b:
watcher=192.168.2.39:/ client. cookie=

删除 RBD

1)     注释映射信息

# vim /etc/ceph/rbdmap
rbd/test001 id=admin,keyring=/etc/ceph/ceph.client.admin.keyring

2)     注释下面挂载信息

# vim /etc/fstab
/dev/rbd/rbd/test001 /mnt/ceph-test001 xfs defaults,noatime,_netdev

3)     显示映射关系

# rbd showmapped
id pool image snap device
rbd test001 - /dev/rbd0

4)     卸载映射关系,删除test001块设备

# rbd unmap /dev/rbd0
# rbd rm rbd/test001

RBD 基本使用 - Storage6的更多相关文章

  1. SUSE CaaS Platform 4 - 使用 Ceph RBD 作为持久存储(动态)

    图1 架构图 图2 各存储插件对动态供给方式的支持状况 1.所有节点安装 # yum install ceph-common 复制 ceph.conf 到 worker 节点上 # scp admin ...

  2. SUSE CaaS Platform 4 - Ceph RBD 作为 Pod 存储卷

    RBD存储卷 目前 CaaSP4 支持多种 Volume 类型,这里选择 Ceph RBD(Rados Block Device),主要有如下好处: Ceph 经过多年开发,已经非常熟,社区也很活跃: ...

  3. rbd snap(1)

    来自官方文档: 快照介绍 快照是映像在某个特定时间点的一份只读副本. 对当前镜像打过快照以后,Active层仍在当前镜像,快照文件为只读. Note 如果在做快照时映像仍在进行 I/O 操作,快照可能 ...

  4. rbd cache (一)

    cache 1.why The existence of cache is based on a mismatch between the performance characteristics of ...

  5. Tier和RBD Cache的区别

    相同点 缓存 数据不会持久保存在ssd或者内存:预读回写直写 都需要解决缓存数据和磁盘数据不一致和“内存页”置换的问题. 差异点 缓存的位置不同,tier是rados层在osd端进行数据缓存,也就是说 ...

  6. 理解 QEMU/KVM 和 Ceph(2):QEMU 的 RBD 块驱动(block driver)

    本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合: (1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (2)QEMU 的 RBD 块驱动(block driver) (3)存 ...

  7. 理解 QEMU/KVM 和 Ceph(1):QEMU-KVM 和 Ceph RBD 的 缓存机制总结

    本系列文章会总结 QEMU/KVM 和 Ceph 之间的整合: (1)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (2)QEMU 的 RBD 块驱动(block driver) (3)存 ...

  8. 理解 OpenStack + Ceph (3):Ceph RBD 接口和工具 [Ceph RBD API and Tools]

    本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 ...

  9. Ceph: validate that the RBD cache is active

    Ceph: validate that the RBD cache is active Quick and simple test to validate if the RBD cache is en ...

随机推荐

  1. 约瑟夫环问题:有n个人围成一圈,顺序排号。从第一个人开始报数(从1到3报数),凡报到3的人退出圈子,问最后留下的是原来第几号的那位。

    首先,我最大的学习来源不是百度而是我群友~~在这里表白一波我热爱学习的群友们!然后今天群里突然有人提出了题目的这个问题:有n个人围成一圈,顺序排号.从第一个人开始报数(从1到3报数),凡报到3的人退出 ...

  2. 成功项目管理与PMP认证2017

    http://study.163.com/course/courseLearn.htm?courseId=1064005#/learn/video?lessonId=1003778171&co ...

  3. xcode7中搭建python开发环境

    1. 双击打开Xcode 2. 点击File->New->New Project 3. 在左边的面板选择Other,右边选择External Build Sytem,点击Next 4. 输 ...

  4. P4570 [BJWC2011]元素 线性基 + 贪心

    题意 给定n个物品,每个物品有一个编号和价值,问如何取使得拿到的物品价值总和最大,并且取得物品的编号的子集异或和不能为0. 思路 这是个贪心,我们先按照价值从大到小排序,然后贪心地取,如果当前要取的物 ...

  5. SPOJ - Find The Determinant III 计算矩阵的行列式答案 + 辗转相除法思想

    SPOJ -Find The Determinant III 参考:https://blog.csdn.net/zhoufenqin/article/details/7779707 参考中还有几个关于 ...

  6. HDU- 6437.Videos 最“大”费用流 -化区间为点

    参考和完全学习:http://www.cnblogs.com/xcantaloupe/p/9519617.html HDU-6437 题意: 有m场电影,电影分为两种,看一场电影可以得到对应的快乐值. ...

  7. POJ 3067 Japan (树状数组求逆序对)

    POJ - 3067 题意:有(1-n)个城市自上到下在左边, 另有(1-m)个城市自上到下在右边,共有m条高速公路,现求这m条直线的交点个数,交点不包括在城市处相交. 题解:先将高速公路读入,然后按 ...

  8. python 中的while循环、格式化、编码初始

    while循环 循环:不断重复着某件事就是循环 while 关键字 死循环:while True: ​ 循环体 while True: # 死循环# print("坚强")# pr ...

  9. Mac 不显示未知来源选项的解决办法/连接不上网络

    原文来自百度经验: http://jingyan.baidu.com/article/eae078278b37d41fec5485b2.html 灰常感谢原作 关于mac无法连接wifi,我的解决办法 ...

  10. Day004作业

    1,写代码,有如下列列表,按照要求实现每⼀一个功能li = ["alex", "WuSir", "ritian", "barry& ...