1.简介     FastDFS文件服务器在设计时,为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式.存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量.一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用.当存储空间不足或即将耗尽时,可以动态添加卷.只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量.FastDFS中的

当用户量越来越大,则集群中某个group总会到达其极限,这时就得扩展集群的容量了. FastDFS的扩容分为对group纵向扩容和横向扩容 纵向扩容 指在同一个group组中增加服务器,实现数据冗余,数据备份.同一个group中最大容量取决于最小的storage的存储容量.因此如果还想继续使用此group,则需要对此group对应的所有服务器挂载同样容量的磁盘,指定store_path1……,但这样做的话成本相当的高,不推荐. 横向扩容是通过集群实现,指新增一个group,增加整个FastDFS

前面已介绍了docker很多知识点的操作记录,今天这里梳理下docker容器空间扩展的操作.默认情况下,物理机下创建的docker容器的空间是10G(虚拟机下创建的docker容器空间就是虚拟机的空间).在实际生产环境下,对docker容器进行热扩容(动态扩容)是非常重要的一个需求. Docker容器动态扩展的优点:1)不需要修改docker配置,不需要重启docker服务:2)可以直接对运行中的容器进行动态扩展(只能增,无法缩): Docker容器动态扩展的条件:1)docker所在宿主机分区

1. 集群节点及服务分配 说明: 1.1. 在每个节点上启动两个clickhouse服务(后面会详细介绍如何操作这一步),一个数据分片,一个数据备份,为了确保宕机数据一致性,数据分片和数据备份不能同一节点,比如gawh201上的shard不能备份在gawh201的replica,如果这样做,当gawh201宕机了,该节点shard的数据是找不到的. 1.2. 基于a所以shard和replica必须错开,但不是随意错开就可以了.按照上图给的规律错开(后面会详细介绍超大节点的集群的shard和re

警告! 本文为虚拟机环境,生产环境请务必在操作前优先备份重要数据! 再有,请确保所需扩充的分区为非进程占用分区 实验背景:当时规划系统分区时/(根)目录分配过小 实验目的 : 无损增大/(根)分区容量 方案: 一.所在卷组(vg)有空闲,直接将空闲空间分配给/(根)挂载的逻辑卷(LV): 二.所在卷组(vg)已全部分配,无空闲空间,可系统增加一块盘,做物理卷(pv)加入到卷组(vg),达到扩充卷组空间,再将空闲的卷组空间划分给/(根)挂载的逻辑卷(LV): 三.所在卷组(VG)已全部分配,无空闲

1.添加硬盘 2.刷新服务器文件系统 新添加的硬盘需要刷新文件系统,要不然不能识别新添加的硬盘. 对scsi_host进行重新扫描,查找 scsi 驱动器的号 驱动号为scsi后面的数字,即为2,此时看不懂新添加的硬盘 执行刷新: echo "- - -" > /sys/class/scsi_host/host2/scan   注意:host2的2位scsi后面的数字 sdd即为新添加的硬盘 3.扩容逻辑卷 当前剩余空间为21G,此卷为逻辑卷,所以可以直接扩容. 首先找到需要扩容

1.简介     FastDFS文件服务器在设计时,为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式.存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量.一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用.当存储空间不足或即将耗尽时,可以动态添加卷.只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量.FastDFS中的

1.简介     本文主要介绍FastDFS文件服务器的集群搭建,在阅读本文之前,您需具备FastDFS文件服务器单节点安装,扩容,迁移等方面的知识.同时,您还需了解Keepalived,nginx方面的知识.阅读本文您可参考如下辅助文章: FastDFS文件服务器单节点安装:FastDFS教程Ⅰ-文件服务器安装与Nginx配置 FastDFS文件服务器扩容:FastDFS教程Ⅲ-文件服务器扩容 nginx和keepalived实现nginx高可用:nginx和keepalived实现虚拟ip配

1  安装libfastcommon 注意:在Centos7下和在Ubuntu下安装FastDFS是不同的,在Ubuntu上安装FastDFS需要安装libevent,而外Centos上安装FastDFS需要安装libfastcommon. 我们以Centos为例进行FastDFS安装讲解. 首先安装zip解压 yum -y install unzip zip 经过一系列过程后,出现Comlete!的字样,说明安装成功了. 安装成功后解压libfastcommon.zip,这时进入/usr/lo

基本介绍Linux用户安装Linux 操作系统时遇到的一个最常见的难以决定的问题就是如何正确地给评估各分区大小,以分配合适的硬盘空间.随着 Linux的逻辑盘卷管理功能的出现,这些问题都迎刃而解, lvm是逻辑盘卷管理(Logical Volume Manager)的简称,它是 Linux环境下对磁盘分区进行管理的一种机制, LVM是建立在硬盘和分区之上的一个逻辑层,来提高磁盘分区管理的灵活性. LVM基本术语:1)物理存储介质:这里指系统的存储设备:硬盘,如: /dev/hda./dev/sd

1.     方案背景描述 环境迁移,需要迁移旧环境的fastdfs集群的数据到新环境,由于之前数据迁移仅仅是针对mysql和mongodb,对fastdfs数据的迁移了解甚少,本文档主要是针对fastdfs数据迁移和恢复的几种方式以及具体操作流程做详细阐述. 2.     方案实现的目标 实现fastdfs集群数据完整迁移,保证在新环境正常使用,以及保证fastdfs集群高可用. 3.     方案说明 Fstdfs整体架构          Fastdfs数据迁移 数据迁移是指旧的fastd

迁移步骤 打包旧服务器文件的所有文件 定位到旧服务器的tracker和Storage目录,将整个文件夹打包 tar -zcf fdfs-storage-data.tar.gz /fastdfs/storage/data/ tar -zcf fdfs-tracker-data.tar.gz /fastdfs/tracker/data/ 将打包后的文件拷贝到新的服务器上 ​ 替换文件和修改信息 停止新服务器的tracker服务和Storage服务 ​ 删除新服务器的tracker数据,Storage

1. Docker虚拟化特点 跟传统VM比较具有如下优点: 操作启动快 运行时的性能可以获取极大提升,管理操作(启动,停止,开始,重启等等) 都是以秒或毫秒为单位的. 轻量级虚拟化 你会拥有足够的“操作系统”,仅需添加或减小镜像即可.在一台服务器上可以布署100~1000个Containers容器.但是传统虚拟化,你虚拟10-20个虚拟机就不错了. 开源免费 开源的,免费的,低成本的.由现代Linux内核支持并驱动.注* 轻量的Container必定可以在一个物理机上开启更多“容器”,注定比VM

Kafka 探险 - 架构简介 这个 Kafka 的专题,我会从系统整体架构,设计到代码落地.和大家一起杠源码,学技巧,涨知识.希望大家持续关注一起见证成长! 我相信:技术的道路,十年如一日!十年磨一剑! 简介 Kafka 是一种分布式的,基于发布 / 订阅的消息系统.最初被 LinkedIn 开发,并在 2011 年初开源,2012 年 10 月从 Apache 孵化器破壳而出,成为 Apache 的顶级项目. Kafka 最初被设计的目的是 LinkedIn 流量和运维数据分析.流量数据包含

安装介绍 ​ redis-trib.rb是一款由Redis官方提供的集群管理工具,能够大量减少集群搭建的时间. ​ 除此之外,还能够简化集群的检查.槽迁徙.负载均衡等常见的运维操作,但是使用前必须要安装ruby环境. ​ 1)使用yum进行安装ruby: yum install -y rubygems ​ 2)默认的ruby包管理工具镜像源在国外,将国外源删除添加国内源 gem sources --remove https://rubygems.org/ gem sources -a http:

2. Stratis 本地存储管理工具,通过Stratis可以便捷的使用Thin Provisioning.Snapshots.Pool-based的管理和监控等高级存储功能. Stratis 基于xfs文件系统格式. 2.1 Install # yum install -y stratisd stratis-cli # systemctl enable --now stratisd 2.2 Create Pool # wipefs -a /dev/vdb // 清除磁盘签名 # wipefs

通过给group的机器添加硬盘的方式,实现某个group的扩容. fastdfs在一台服务器支持多个store_path,每个store_path指向一个存储路径.url “M00/3F/E1/oYYBAFXfyuOABOf5AAAHoDwhqE0491.txt”中M00表示使用store_path0,如果没有配置store_path,就使用base_path的路径. 添加了硬盘后,通过把新的store_path指向新硬盘的挂载点,再修改配置文件,就能实现group的扩容. 原来的fdfs的ba

在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问. 高可用是实现了,但由于我们只设置了一个group,如果现在有5台服务器那将会出现5台只有一个group,每台服务器内的文件内容都相同(互备份)如下图,会造成资源浪费. 因此下面就5台服务器进行优化改造,进一步添加keepalived+nginx多tracker 架构,做到真正的高可用和高性能. FastDFS集群服务器分布 其中keepalived+ngi

通过给group的机器添加硬盘的方式,实现某个group的扩容. fastdfs在一台服务器支持多个store_path,每个store_path指向一个存储路径.url "M00/3F/E1/oYYBAFXfyuOABOf5AAAHoDwhqE0491.txt"中M00表示使用store_path0,如果没有配置store_path,就使用base_path的路径. 添加了硬盘后,通过把新的store_path指向新硬盘的挂载点,再修改配置文件,就能实现group的扩容. 原来的fd

在前篇 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备 中已介绍搭建高可用的分布式文件系统架构. 那怎么在程序中调用,其实网上有很多栗子,这里在他们的基础上作个简单的介绍. 下载源码并加入本地仓库 官网Java客户端源代码:https://github.com/happyfish100/fastdfs-client-java 打开源码后 执行maven install 将代码打成jar到本地maven仓库(这步可自行 google)