之前写的使用COSBench工具对ceph s3接口进行压力测试是入门,在实际使用是,配置内容各不一样,下面列出 压力脚本是xml格式的,套用UserGuide文档说明,如下 有很多模板的例子,在conf目录下,如librados-config-sample.xml.s3-config-sample.xml 这里只有s3的,所以目前只关注s3的相关配置 S3的配置在页面上选择时没有显示出来,所以我们就进行手工配置 第一级workload,格式如下: <workload name=”demo” d…

S3 client 访问ceph rgw 安装: yum install s3cmd 验证安装是否成功: $s3cmd --version s3cmd version 1.5.2 #表示安装成功 在ceph管理主机上创建S3用户: sudo radosgw-admin user create --uid="test" --display-name="zhangsan" 查看用户: sudo radosgw-admin user info --uid="te…

前言 ceph的s3数据的同步可以通过radosgw-agent进行同步,同region可以同步data和metadata,不同region只能同步metadata,这个地方可以参考下秦牧羊梳理的 ceph radosgw 多集群同步部署流程,本篇讲述的方案与radosgw-agent的复制方案不同在于,这个属于前端复制,后端相当于透明的两个相同集群,在入口层面就将数据进行了复制分流 在某些场景下,需求可能比较简单: 需要数据能同时存储在两个集群当中 数据写一次,读多次 两个集群都能写 一方面两…

java: http://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/acl-using-java-sdk.html tring bucketName = "bucket-name"; AmazonS3 s3client = new AmazonS3Client(new ProfileCredentialsProvider()); s3client.createBucket(new CreateBucketRequest (bucketN…

COSBench安装 Cosbench是Intel的开源云存储性能测试软件,COSBench目前已经广泛使用与云存储测试,并作为云存储的基准测试工具使用 1 环境 1.1 操作系统 COSBench可在windows和linux两种系统中运行,而为了更好的发挥硬件和系统的能力,建议在使用COSBench进行测试时,选择linux系统,目前我使用的环境是:ubuntu 12.04系统版本: 1.2 运行环境 JRE 1.7+ CURL 2 安装 2.1 支持环境安装 2.1.1 JRE JRE安装…

一.COSBench安装 COSBench是Intel团队基于java开发,对云存储的测试工具,全称是Cloud object Storage Bench 吐槽下,貌似这套工具是intel上海团队开发的,竟然没有中文的相关资料. 同所有的性能测试工具一样,COSBench也分控制台和发起请求的driver,且driver可以分布式部署.可以支持swift.s3.Openstack等接口 1. 下载COSBench工具 下载地址为:https://github.com/intel-cloud/co…

文章转载自:https://mp.weixin.qq.com/s?__biz=MzI1MDgwNzQ1MQ==&mid=2247485256&idx=1&sn=39e072156c87c639e0c64236d3c2d25d&chksm=e9fdd2bcde8a5baa1da7583a34d94ba6c7311d1c354ede8b3fec57b61f9f42d5fd48e9152d6b&scene=178&cur_album_id=160084541737…

最近在项目中有涉及到Kubernetes的分布式存储部分的内容,也抽空多了解了一些.项目主要基于Rook-Ceph运行,考虑到Rook-Ceph部署也不那么简单,官方文档的步骤起点也不算低,因此,在整合官方文档的某些步骤的基础上,写篇文章简单总结一下. Rook-Ceph是Kubernetes中分布式存储的一种解决方案,Rook作为一种开源的.云原生的存储编排器,为各种存储服务在云原生的环境中实现无缝整合,提供了所必须的平台.框架和服务:而Ceph则是Rook所支持的众多存储方案的一种,在Kub…

前言 加入新公司的第二个星期的星期二 遇到另一个项目需要技术性支持:验证es多集群的数据备份方案,需要我参与验证,在这个项目中需要关注到两个集群的互通性.es集群是部署在不同的k8s环境中,K8s环境未必可以互相通信.在这个过程中也遇到很多问题,关关难过关关过. 因为是新入职的公司的第一个完成的任务,特记录如下 环境 k8s版本:1.18.3 es版本:7.8 logstash版本:7.8 ceph: s3 验证方案 -方案1 : logstash 方案2: ceph s3 s3 操作:http…

ownCloud简介 是一个来自 KDE 社区开发的免费软件,提供私人的 Web 服务.当前主要功能包括文件管理(内建文件分享).音乐.日历.联系人等等,可在PC和服务器上运行. 简单来说就是一个基于Php的自建网盘.基本上是私人使用这样,因为直到现在开发版本也没有暴露注册功能. 我这里采用基于php7.1的LAMP环境搭建这个owncloud 下一篇将介绍和ceph对象存储整合案例 一.环境准备,这里的owncloud是10.2.1版本,所以需要php7.1以上的LAMP环境,否则会报错,LA…