转载自:https://mp.weixin.qq.com/s/CdLioTzU4oWI688lqYKXUQ 1 环境准备 1.1 基础环境 3台配置一致的虚拟机 虚拟机配置:4c 8g 虚拟机操作系统:centos7 硬盘:vda:40G vdb:20G Kubernete 版本:1.20.0 Docker版本:20.10.7 默认k8s 已安装完成,采用kubeadm 容器化安装 1.2 所安装rook/ceph版本: ceph:v15.2.11 rook:1.6.3 1.3 前提 正常运行的…

1./root/kubespray/roles/docker/docker-storage/defaults/main.yml  #在用kubespray部署集群是制定docker用什么设备 docker_container_storage_setup_devs: /dev/vdb 2.~/cluster/examples/kubernetes/ceph/cluster.yaml storage: # cluster level storage configuration and selecti…

Rook Rook 是一个开源的cloud-native storage编排, 提供平台和框架:为各种存储解决方案提供平台.框架和支持,以便与云原生环境本地集成. Rook 将存储软件转变为自我管理.自我扩展和自我修复的存储服务,它通过自动化部署.引导.配置.置备.扩展.升级.迁移.灾难恢复.监控和资源管理来实现此目的. Rook 使用底层云本机容器管理.调度和编排平台提供的工具来实现它自身的功能. Rook 目前支持Ceph.NFS.Minio Object Store和CockroachDB…

一 Rook概述 1.1 Ceph简介 Ceph是一种高度可扩展的分布式存储解决方案,提供对象.文件和块存储.在每个存储节点上,将找到Ceph存储对象的文件系统和Ceph OSD(对象存储守护程序)进程.在Ceph集群上,还存在Ceph MON(监控)守护程序,它们确保Ceph集群保持高可用性. 更多Ceph介绍参考:https://www.cnblogs.com/itzgr/category/1382602.html 1.2 Rook简介 Rook 是一个开源的cloud-native sto…

Rook 是一个开源 cloud-native storage orchestrator(云原生存储编排器),为各种存储解决方案提供平台.框架和支持,以与云原生环境进行原生集成. Rook 将存储软件转变为自我管理(self-managing).自我扩展(self-scaling)和自我修复(self-healing)的存储服务. 它通过自动化部署(automating deployment).引导(bootstrapping).配置(configuration).供应(provisioning…

官方文档:https://rook.io/docs/rook/v1.8/ceph-toolbox.html Rook工具箱是一个包含用于Rook调试和测试的常用工具的容器.工具箱基于CentOS,因此可以通过yum轻松安装更多您选择的工具. 工具箱可以在两种模式下运行: 交互式:启动一个工具箱,您可以在其中从shell连接和执行Ceph命令 一次性作业:使用Ceph命令运行脚本,并从作业日志中收集结果 交互式工具箱 rook toolbox可以在Kubernetes集群中作为部署运行,您可以在其…

主要涉及到以下关键字: K8S.Docker.微服务.安装.教程.网络.日志.存储.安全.工具.CI/CD.分布式.实践.架构等: 以下盘点2018年一些精选优质文章! 漫画形式: 漫画:小黄人学 Service Mesh 之 Istio漫画:Kubernetes中的ConfigMap和Secret漫画:小黄人学 Kubernetes 对象漫画:小黄人学 Kubernetes Service 回顾Docker+k8s: 容器.容器云与Kubernetes技术漫谈Docker 诞生至2018,里程…

系列目录 kubernetes简介 Kubernetes节点架构图: kubernetes组件架构图: 准备基础环境 我们将使用kubeadm部署3个节点的 Kubernetes Cluster,整体结构图: 节点详细信息: 无特殊说明以下操作在所有节点执行: 修改主机名: #master节点: hostnamectl set-hostname k8s-master #node1节点: hostnamectl set-hostname k8s-node1 #node2节点: hostnamect…

kubeadm是Kubernetes官方提供的用于快速部署Kubernetes集群的工具,本篇文章使用kubeadm搭建一个单master节点的k8s集群. 节点部署信息 节点主机名 节点IP 节点角色 操作系统 k8s-master 10.10.55.113 master centos7.6 k8s-node1 10.10.55.114 node centos7.6 节点说明 master:控制节点.kube-apiserver负责API服务,kube-controller-manager负责…

目录 K8S 组件构成 环境准备 (以ubuntu系统为例) 1. kubernetes集群机器 2. 安装 docker. kubeadm.kubelet.kubectl 2.1 在每台机器上安装 docker 2.2 每台机器上安装 kubelet .kubeadm .kubectl 创建 kubernetes 集群 kubeadm 在 master 节点 init 集群 在worker 节点执行命令 join 到集群 安装 Pod Network (在 master 节点 flannel/…

最近在项目中有涉及到Kubernetes的分布式存储部分的内容,也抽空多了解了一些.项目主要基于Rook-Ceph运行,考虑到Rook-Ceph部署也不那么简单,官方文档的步骤起点也不算低,因此,在整合官方文档的某些步骤的基础上,写篇文章简单总结一下. Rook-Ceph是Kubernetes中分布式存储的一种解决方案,Rook作为一种开源的.云原生的存储编排器,为各种存储服务在云原生的环境中实现无缝整合,提供了所必须的平台.框架和服务:而Ceph则是Rook所支持的众多存储方案的一种,在Kub…

先决条件 为确保您有一个准备就绪的 Kubernetes 集群Rook,您可以按照这些说明进行操作. 为了配置 Ceph 存储集群,至少需要以下本地存储选项之一: 原始设备(无分区或格式化文件系统) 这需要lvm2在主机上安装.为了避免这种依赖性,您可以在磁盘上创建一个完整的磁盘分区(见下文) 原始分区(无格式化的文件系统) block模式下存储类可用的持久卷 部署 Rook Operator $ git clone --single-branch --branch release-1.7 ht…

官方文档地址:https://rook.io/docs/rook/v1.8/quickstart.html Kubernetes 最小版本号 Kubernetes 最小版本号:Kubernetes v1.16 前提 Kubernetes 集群各节点主机安装 lvm2 软件:yum -y install lvm2 Kubernetes 集群各节点主机内核版本不低于4.17 Kubernetes 集群有至少 3 个工作节点(master和worker),且每个工作节点都有一块初系统盘以外的 未格式化…

容器的持久化存储 容器的持久化存储是保存容器存储状态的重要手段,存储插件会在容器里挂载一个基于网络或者其他机制的远程数据卷,使得在容器里创建的文件,实际上是保存在远程存储服务器上,或者以分布式的方式保存在多个节点上,而与当前宿主机没有任何绑定关系.这样,无论你在其他哪个宿主机上启动新的容器,都可以请求挂载指定的持久化存储卷,从而访问到数据卷里保存的内容.由于 Kubernetes 本身的松耦合设计,绝大多数存储项目,比如 Ceph.GlusterFS.NFS 等,都可以为 Kubernetes…

准备工作 所有节点开启ip_forward cat <<EOF > /etc/sysctl.d/ceph.conf net.ipv4.ip_forward = 1 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system 开始部署Operator 部署Rook Operator #无另外说明,全部操作都在master操作 cd $HOME git c…

参考:https://my.oschina.net/u/2306127/blog/1830356?from=timeline 1.Rook通过一个操作器(operator)完成后续操作,只需要定义需要的状态就可以了.Rook通过操作器监控状态需求变化,并将配置文件分配到集群上生效.操作器关注包括各种集群运行和启停所需的状态信息.本文将详细讨论这些细节. ################################################################## #oper…

https://github.com/rook/rook https://rook.github.io/docs/rook/master/ Rook是在云本地环境中运行的分布式存储系统的开源编排器. Rook将分布式存储软件转变为自我管理,自我缩放和自我修复的存储服务.它通过自动化部署,引导,配置,供应,扩展,升级,迁移,灾难恢复,监控和资源管理来实现. Rook使用基础的云原生容器管理,调度和编排平台提供的功能来履行其职责. Rook利用扩展点深入融入云本地环境,为调度,生命周期管理,资源管理…

简介 ceph作为一个统一的分布式存储系统,提供了高性能,高可用性,高扩展性.ceph的统一体现在其可以提供文件系统.块存储.对象存储,在云环境中,通常采用ceph作为后端存储来保证数据的高可用性. ceph发表于2004年,随后开源给社区.进过十几年发展,目前得到众多云厂商支持并广泛使用.比如openstack\kubernetes\虚拟机系统等... 架构图: 特点 高性能 采用CRUSH算法,数据分布均衡,并行度高. 容灾域的隔离,能够实现各类负载的副本放置规则,例如跨机房.机架感知等.…

@ 目录 概述 定义 传统存储方式及问题 优势 生产遇到问题 架构 总体架构 组成部分 CRUSH算法 数据读写过程 CLUSTER MAP 部署 部署建议 部署版本 部署方式 Cephadm部署 前置条件 安装CEPHADM 引导新的集群 安装命令 概述 定义 Ceph 官网 https://ceph.com Ceph 最新官网文档 https://docs.ceph.com/en/latest Ceph GitHub源码地址 https://github.com/ceph/ceph Ceph…

文章转载自:https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247485243&idx=1&sn=e425c31af90c72c75d535e16d71f728b&chksm=e9fdd2cfde8a5bd9423b9b15f69e305fc5fa30c543f941f57c8b456d28496e871a46b7faebd7&scene=178&cur_album_id=160084541737…

http://docs.ceph.com/docs/giant/cephfs/hadoop/ https://indico.cern.ch/event/524549/contributions/2185930/attachments/1290231/1921189/2016.06.13_-_Spark_on_Ceph.pdf http://www.ibm.com/developerworks/cn/opensource/os-cn-spark/…

庆祝一下!经过社区老司机的带路,昨天提交了第一个ceph pull request.实现了从0到1的突破,希望再接再厉提交更多代码到社区,为社区发展贡献一点自己力量. 提交的第一个被社区fix的bug:http://tracker.ceph.com/issues/16654 提交的第一个 pull request : https://github.com/ceph/ceph/pull/12664, 等待被社区接受中-- 顺便在这里总结一下提交Ceph代码的流程和规范. 正常流程 应该是track…

import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.TransferManager; import com.amazonaws.services.s3.transfer.Upload;   public cla…

使用Ceph-deploy完成RGW服务部署后(最好是在部署RGW服务前建立如下这些pool),使用sudo ceph osd lspools 命令,会发现RGW自动以默认参数创建了N个rgw相关的pool. 然而这些pool的参数按默认是不符合要求. 因此需要重建这些pool. 步骤如下: 1. 删除Pool : sudo ceph osd pool delete .rgw.root .rgw.root --yes-i-really-really-mean-it sudo ceph osd p…

本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本,不包括IDC带宽成本. 统计Ceph集群的用到的主要设备为: OSD.MON.RGW服务器 .TOR交换机. 机架. 下表解释: Port : 交换机端口年成本 Rack : 机架租赁年成本 Server: OSD/MON/RGW 服务器的成本. OSD成本较高,采用了万兆网卡和12*4T硬盘. 成本数据来源 阿里:https://www.aliyun.com/price/product?spm=5176.7740655.2.…

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)基本的性能测试工具和方法 (9) pool 的size 和 min_size,choose 和 chooseleaf,pg scru…

cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; client_max_body_size 20M; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on…

网络结构 Ceph 使用以太网连接内部各存储节点以及连接 client 和集群.Ceph 推荐使用两个网络: 前端(北向)网络( a public (front-side) network):连接客户端和集群 The public network handles client traffic and communication with Ceph monitors. 后端/东西向网络 (a cluster (back-side) network):连接 Ceph 各存储节  The cluste…

1.前期准备:centos6.5 minimal版本3台 选择其中一台作为一个安装节点,能无密码登录其他机器.ssh-keygen ssh-keygen -i ~/.ssh/id_rsa.pub node1 node2 node3 2. 命令: yum install cepy-deploy -y 所有节点安装lsb yum install lsb -y 关闭防火墙,后面osd服务会向mon服务请求6789端口,防火墙开了访问不了 service iptables stop 创建mon ceph…

一)快照基础命令 网址:http://ceph.sptty.com/rbd/rbd-snapshot/ 1. 创建快照 # rbd snap create yhcpool/yhctest@yhctestsnap 2.查询rbd镜像 # rbd snap ls yhcpool/yhctest SNAPID NAME SIZE 4 yhctestsnap 512 MB 3.快照回滚 命令: rbd snap rollback {pool-name}/{image-name}@{snap-name}…