ceph集群jewel版本 rbd 块map 报错-故障排查

测试信息如下: [root@ceph_1 ~]# ceph osd pool lsrbdchy_123swimmingpool #新建rbd 块: rbd create swimmingpool/bar --size 10G --image-format 2 #查看块信息: rbd ls #将rbd 块映射到主机: rbd map swimmingpool/bar #报错内容如下 rbd: sysfs write failed RBD image feature set mismatch.…

CEPH-2：rbd功能详解及普通用户应用ceph集群

ceph集群rbd使用详解一个完整的ceph集群,可以提供块存储.文件系统和对象存储. 本节主要介绍rbd存储功能如何灵活的使用,集群背景: $ ceph -s cluster: id: 537175bb-51de-4cc4-9ee3-b5ba8842bff2 health: HEALTH_OK services: mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3 (age 2m) mgr: ceph-node1(active, s…

分布式存储系统之Ceph集群RBD基础使用

前文我们了解了Ceph集群cephx认证和授权相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16748149.html:今天我们来聊一聊ceph集群的RBD接口使用相关话题: RBD是ceph集群向外提供存储服务的一种接口,该接口是基于ceph底层存储集群librados api构建的接口:即RBD是构建在librados之上向外提供存储服务的:对于客户端来说RBD主要是将rados集群之上的某个存储池里的空间通过librados抽象为一块或多块…

CentOS 7 搭建 Ceph 集群（nautilus 版本）

搭建 Ceph 分布式集群( nautilus 版本 ) 一.服务器环境说明主机名角色 IP地址 ceph-admin ceph-deploy 192.168.92.21 ceph-node1 mon.mgr.osd 192.168.92.22 ceph-node2 mon.mgr.osd 192.168.92.23 ceph-node3 mon.mgr.osd 192.168.92.24 二.集群架构图三.服务器环境准备 1. 配置 yum 仓库地址对所有机器配置 epel 仓库.基础…

ceph集群部署(基于jewel版)

环境两个节点:ceph1.ceph2 ceph1: mon.mds.osd.0.osd.1 ceph2: osd.2.osd.3 网络配置: ceph1: 管理网络,eth0,10.0.0.20 存储网络,eth1, 10.0.1.20 ceph2: 管理网络,eth0,10.0.0.21 存储网络,eth1, 10.0.1.21 安装 root@ceph1:~# wget -q -O- 'https://download.ceph.com/keys/release.asc' | sudo a…

二十八. Ceph概述部署Ceph集群 Ceph块存储

client :192.168.4.10 node1 :192.168.4.11 ndoe2 :192.168.4.12 node3 :192.168.4.13 1.实验环境准备四台KVM虚拟机,其三台作为存储集群节点,一台安装为客户端,实现如下功能: 创建1台客户端虚拟机创建3台存储集群虚拟机配置主机名.IP地址.YUM源修改所有主机的主机名配置无密码SSH连接配置NTP时间同步创建虚拟机磁盘 1.1 五台机器(包括真机)配置yum源 1.1.1 全部搭建ftp服务 1.…

Ubuntu 18.04.5 LTS Ceph集群之 cephx 认证及使用普通用户挂载RBD和CephFS

1.cephx认证和授权 1.1 CephX认证机制 Ceph使用cephx协议对客户端进行身份认证: 1.每个MON都可以对客户端进行身份验正并分发密钥, 不存在单点故障和性能瓶颈 2. MON会返回用于身份验正的数据结构, 其包含获取Ceph服务时用到的session key. 3.session key通过客户端密钥进行加密 4.客户端使用session key向MON请求所需的服务 5.MON向客户端提供一个ticket, 用于向实际处理数据的OSD等验正客户端身份 6.MON和OSD共…

CEPH集群操作入门--配置

参考文档:CEPH官网集群操作文档概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制. Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写…

Ceph 集群整体迁移方案(转)

场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下,再将旧机器下架回收.本文就介绍了一种实现业务不中断的数据迁移方案,并已经在多个生产环境执行. 本文的环境均为:Openstack+Ceph 运行虚拟机的场景,即主要使用RBD,不包含RGW,MDS.虚机的系统盘(Nova),云硬盘(Cinder),镜像盘(Glance)的块均保存…

分布式存储ceph集群实践

1.环境规划,三台主机 10.213.14.51/24 10.213.14.52/24 10.213.14.53/24 集群网络 172.140.140.11.22 172.140.140.12/22 172.140.140.13/22 复制网络 centos7.3 ceph版本 luminous 12.2.4 ceph-deploy 2.0.0 2.ceph体系架构 3.ceph核心概念 Monitors: A Ceph…

ceph集群部署

最近在学习 kubernetes 过程中,想实现 pod 数据的持久化.在调研的过程中,发现 ceph 在最近几年发展火热,也有很多案例落地企业.在选型方面,个人更加倾向于社区火热的项目,GlusterFS.Ceph 都在考虑的范围之内,但是由于 GlusterFS 只提供对象存储和文件系统存储,而 Ceph 则提供对象存储.块存储以及文件系统存储.怀着对新事物的向往,果断选择 Ceph 来实现 Ceph 块存储对接 kubernetes 来实现 pod 的数据持久化. Red Hat Ceph…

基于Ubuntu 18.04.5 LTS 部署Ceph集群测试及Ceph RDB的使用。

1.ceph简介 Ceph在一个统一的系统中独特地提供对象.块和文件存储 1.1 ceph官网架构图 1.2 架构解释 CEPH 对象存储 CEPH 块设备 CEPH 文件系统 RESTful 接口 S3 和 Swift 兼容的 API S3 风格的子域统一的 S3/Swift 命名空间用户管理使用跟踪条纹对象云解决方案集成多站点部署多站点复制精简配置图像高达 16 艾字节可配置的条带化内存缓存快照写时复制克隆内核驱动支持 KVM/libvirt 支持云解决方案…

ceph-deploy离线部署ceph集群及报错解决FAQ

ceph-deploy部署ceph集群环境介绍主机名 ip地址操作系统角色备注 ceph-node1 10.153.204.13 Centos7.6 mon.osd.mds.mgr.rgw.ceph-deploy chronyd时钟同步(主) ceph-node2 10.130.22.45 Centos7.6 mon.osd.mds.mgr.rgw chronyd时钟同步 ceph-node3 10.153.204.28 Centos7.3 mon.osd chronyd时钟同步此环…

CEPH-5：ceph集群基本概念与管理

ceph集群基本概念与管理 ceph集群基本概念 ceph集群整体结构图名称作用 osd 全称Object Storage Device,主要功能是存储数据.复制数据.平衡数据.恢复数据等.每个OSD间会进行心跳检查,并将一些变化情况上报给Ceph Monitor. mon 全称Monitor,负责监视Ceph集群,维护Ceph集群的健康状态,同时维护着Ceph集群中的各种Map图,比如OSD Map.Monitor Map.PG Map和CRUSH Map,这些Map统称为Cluster…

ceph 005 赋权补充 rbd块映射

我的ceph版本 [root@serverc ~]# ceph -v ceph version 16.2.0-117.el8cp (0e34bb74700060ebfaa22d99b7d2cdc037b28a57) pacific (stable) 认证授权 [root@serverc ~]# ceph auth get-or-create client.user2 mon 'allow rw' osd 'allow rw pool=pool2' > /etc/ceph/ceph.client.…

分布式存储系统之Ceph集群存储池、PG 与 CRUSH

前文我们了解了ceph集群状态获取常用命令以及通过ceph daemon.ceph tell动态配置ceph组件.ceph.conf配置文件相关格式的说明等,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16727820.html:今天我们来聊一聊ceph的存储池.PG以及CRUSH相关话题: 一.关于存储池我们知道ceph客户端存储对象数据到RADOS集群上,不是客户端直接存储到osd上:首先客户端会根据ceph集群的配置,将客户端存储的对象数据切分多…

分布式存储系统之Ceph集群RadosGW基础使用

前文我们了解了MDS扩展相关话题,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16759585.html:今天我们来聊一聊RadosGW的基础使用相关话题: 对象存储系统概述对象存储系统(Object Storage System,简称OSS):对象存储(Object Storage) 是无层次结构的数据存储方法,通常用于云计算环境中:不同于其他数据存储方法,基于对象的存储不使用目录树:数据作为单独的对象进行存储:数据并不放置在目录层次结构中,而是存在…

配置Ceph集群为OpenStack后端存储

配置Ceph存储为OpenStack的后端存储 1 前期配置 Ceph官网提供的配置Ceph块存储为OpenStack后端存储的文档说明链接地址:http://docs.ceph.com/docs/master/rbd/rbd-openstack/ 1.1 注意点 (1)OpenStack的节点使用的Ceph客户端的版本应该跟Ceph节点使用的Ceph版本一致,不然可能会出现类似Functional not supported的问题,这里我使用的Ceph版本是0.94.10版本的. (2)O…

ubuntu ceph集群安装以及简单使用

ubuntu ceph安装以及使用 1.安装环境本文主要根据官方文档使用ubuntu14.04安装ceph集群,并且简单熟悉其基本操作.整个集群包括一个admin节点(admin node,主机名为node0)和3个存储节点(主机名分别为node1,node2,node3),所有节点均安装ubuntu 14.04操作系统,除了admin节点,其余三个节点除了根磁盘,还额外配置一个磁盘作为单独的osd: lsblk 输出结果: NAME MAJ:MIN RM SIZE RO TYPE MOUNT…

手把手教你使用rpm部署ceph集群

环境准备 1.在运行 Ceph 守护进程的节点上创建一个普通用户,ceph-deploy 会在节点安装软件包,所以你创建的用户需要无密码 sudo 权限.如果使用root可以忽略. 为赋予用户所有权限,把下列加入 /etc/sudoers.d/ceph echo "ceph ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/ceph sudo chmod 0440 /etc/sudoers.d/ceph 2.配置你的管理主机,使之可通过 S…

分布式存储系统之Ceph集群部署

前文我们了解了Ceph的基础架构和相关组件的介绍,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html:今天我们来部署一个ceph集群: 部署工具介绍 1.ceph-deploy:该部署工具是ceph官方的部署工具,它只依赖SSH访问服务器,不需要额外的agent:它可以完全运行在自己的工作站上(比如admin host),不需要服务器,数据库类似的东西:该工具不是一个通用的部署工具,只针对ceph:相比ansible,puppet,功…

ceph集群安装

所有 Ceph 部署都始于 Ceph 存储集群.一个 Ceph 集群可以包含数千个存储节点,最简系统至少需要一个监视器和两个 OSD 才能做到数据复制.Ceph 文件系统. Ceph 对象存储.和 Ceph 块设备从 Ceph 存储集群读出和写入数据. Ceph架构图 1.集群配置节点 IP 功能 ceph01 172.16.100.5 deploy,mon,osd*2,mds ceph02 172.16.100.6 mon,osd*2 ceph03 172.16.100.7 mon,osd*…

使用虚拟机CentOS7部署CEPH集群

第1章 CEPH部署 1.1 简单介绍 Ceph的部署模式下主要包含以下几个类型的节点 Ø CephOSDs: A Ceph OSD 进程主要用来存储数据,处理数据的replication,恢复,填充,调整资源组合以及通过检查其他OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时,要求至少有2个CephOSD进程的状态是active+clean状态 (Ceph 默认会提供两份数据备份). Ø Monitor…

使用Ceph集群作为Kubernetes的动态分配持久化存储（转）

使用Docker快速部署Ceph集群 , 然后使用这个Ceph集群作为Kubernetes的动态分配持久化存储. Kubernetes集群要使用Ceph集群需要在每个Kubernetes节点上安装ceph-common 1. 为kubernetes创建一个存储池 # ceph osd pool create k8s 128 pool 'k8s' created 2. 创建用户 # ceph auth add client.k8s mon 'allow rx' osd 'allow rwx poo…

记一次ceph集群的严重故障

问题:集群状态,坏了一个盘,pg状态好像有点问题[root@ceph-1 ~]# ceph -s cluster 72f44b06-b8d3-44cc-bb8b-2048f5b4acfe health HEALTH_WARN 64 pgs degraded 64 pgs stuck degraded 64 pgs stuck unclean 64 pgs stuck undersized …

SSD固态盘应用于Ceph集群的四种典型使用场景

在虚拟化及云计算技术大规模应用于企业数据中心的科技潮流中,存储性能无疑是企业核心应用是否虚拟化.云化的关键指标之一.传统的做法是升级存储设备,但这没解决根本问题,性能和容量不能兼顾,并且解决不好设备利旧问题.因此,企业迫切需要一种大规模分布式存储管理软件,能充分利用已有硬件资源,在可控成本范围内提供最佳的存储性能,并能根据业务需求变化,从容量和性能两方面同时快速横向扩展.这就是Server SAN兴起的现实基础. Ceph作为Server SAN的最典型代表,可对外提供块.对象.文件服务的分布式…