fastDFS教程Ⅱ-文件服务器迁移
在实际的项目应用中,由于服务器替换或项目变更难免会存在fastDFS文件服务器迁移的工作。本文重点介绍fastDFS文件系统在不同情况下的文件迁移处理方案。
1.迁移时IP地址不变
通过文件服务器存储规则定义,发现当ip地址没有发生变化时,这种文件服务器迁移是最简单的,只需要在新的服务器上安装fastDFS,把原来服务器上的tracker和storage下面的所有目录文件拷贝到新服务器,把所有的配置文件拷贝到新服务器,启动tracker和storage服务即可。
2.迁移时IP地址变化采用自定义server ID模式安装
在fastDFS文件服务器安装时,若前期考虑了文件迁移的需求采用了自定义server ID特性安装文件服务器(fastDFS安装请参考上一篇博客:FastDFS与Nginx的配置说明),在做新文件迁移时仅需如下操作(这种迁移测试很简单,变化ip时既可测试):
- 安装新的fastDFS文件服务器;
- 关闭tracker服务和storage服务;
- 拷贝原有文件服务器tracker和storage下面的所有目录文件;
- 拷贝原有文件服务器的配置文件,如图:
- 编辑stroage_ids.conf文件,修改新的ip地址,如下图:
- 修改client.conf,storage.conf,mod_fastdfs.conf(若配置了 Servier ID模式,可以不修改)文件中的ip地址为新的ip地址。
- 启动tracker服务和storage服务;
- 利用ngigx测试下载以前服务器中存成的文件,下载原文件成功表示迁移成功。
3.迁移时IP地址变化采用默认配置安装
在这种模式下,文件迁移本质就是替换ip地址,找到文件服务器中配置文件与ip地址相关的文件替换后就可以了。但不建议采用这种模式安装,且一旦使用这样的模式安装后,需要切换为自定义 Server ID时,会报ip已经重复的异常,导致切换自定义安装失败(除非删除以前的存储文件)。为了迁移以前的文件数据,需进行如下操作:
- 新服务器停止tracker和storage,分别将其数据文件目录用旧服务器的文件替换掉。
- 删除新服务器data数据,使用旧服务器data替换
- 修改tracker的data文件,主要是修改以下文件中的ip信息。
- data/storage_groups_new.dat
- data/storage_servers_new.dat
- data/storage_sync_timestamp.dat
- 修改storage的data文件,主要是修改以下文件中的ip信息 。
- data/.data_init_flag
- data/sync/${ip_addr}_${port}.mark:此类文件,需要将文件名中的IP地址调整过来。若sync目录下面没有文件,可不修改。
- 修改client.conf,storage.conf,mod_fastdfs.conf文件中的ip地址为新的ip地址。
- 利用ngigx测试下载以前服务器中存成的文件,下载原文件成功表示迁移成功。
4.FastDFS服务器端运行时目录结构
${base_path}
|__data:存放数据文件
|__logs:存放日志文件
其中,${base_path}由配置文件中的参数“base_path”设定。
4.1 .tracker server
tracker server目录及文件结构:
${base_path}
|__data
| |__storage_groups.dat:存储分组信息
|
|__storage_servers.dat:存储服务器列表
|__logs
|__trackerd.log:tracker server日志文件
数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\n)分隔,字段之间以西文逗号(,)分隔。
storage_groups.dat中的字段依次为:
#. group_name:组名
#. storage_port:storage server端口号
storage_servers.dat中记录storage server相关信息,字段依次为:
#. group_name:所属组名
#. ip_addr:ip地址
#. status:状态
#. sync_src_ip_addr:向该storage server同步已有数据文件的源服务器
#. sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳)
#. stat.total_upload_count:上传文件次数
#. stat.success_upload_count:成功上传文件次数
#. stat.total_set_meta_count:更改meta data次数
#. stat.success_set_meta_count:成功更改meta data次数
#. stat.total_delete_count:删除文件次数
#. stat.success_delete_count:成功删除文件次数
#. stat.total_download_count:下载文件次数
#. stat.success_download_count:成功下载文件次数
#. stat.total_get_meta_count:获取meta data次数
#. stat.success_get_meta_count:成功获取meta data次数
#. stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)
#. stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)
4.2 .storage serverstorage server目录及文件结构:
${base_path}
|__data
| |__.data_init_flag:当前storage server初始化信息
| |__storage_stat.dat:当前storage server统计信息
| |__sync:存放数据同步相关文件
| |
|__binlog.index:当前的binlog(更新操作日志)文件索引号
| |
|__binlog.###:存放更新操作记录(日志)
| |
|__${ip_addr}_${port}.mark:存放向目标服务器同步的完成情况
| |
| |__一级目录:256个存放数据文件的目录,目录名为十六进制字符,如:00, 1F
|
|__二级目录:256个存放数据文件的目录,目录名为十六进制字符,如:0A, CF
|__logs
|__storaged.log:storage server日志文件
.data_init_flag文件格式为ini配置文件方式,各个参数如下:
# storage_join_time:本storage server创建时间
# sync_old_done:本storage server是否已完成同步的标志(源服务器向本服务器同步已有数据)
# sync_src_server:向本服务器同步已有数据的源服务器IP地址,没有则为空
# sync_until_timestamp:同步已有数据文件截至时间(UNIX时间戳)
storage_stat.dat文件格式为ini配置文件方式,各个参数如下:
# total_upload_count:上传文件次数
# success_upload_count:成功上传文件次数
# total_set_meta_count:更改meta data次数
# success_set_meta_count:成功更改meta data次数
# total_delete_count:删除文件次数
# success_delete_count:成功删除文件次数
# total_download_count:下载文件次数
# success_download_count:成功下载文件次数
# total_get_meta_count:获取meta data次数
# success_get_meta_count:成功获取meta data次数
# last_source_update:最近一次源头更新时间(更新操作来自客户端)
# last_sync_update:最近一次同步更新时间(更新操作来自其他storage server)
binlog.index中只有一个数据项:当前binlog的文件索引号
binlog.###,###为索引号对应的3位十进制字符,不足三位,前面补0。索引号基于0,最大为999。一个binlog文件最大为1GB。记录之间以换行符(\n)分隔,字段之间以西文空格分隔。字段依次为:
1. timestamp:更新发生时间(Unix时间戳)
2. op_type:操作类型,一个字符
3. filename:操作(更新)的文件名,包括相对路径,如:5A/3D/VKQ-CkpWmo0AAAAAAKqTJj0eiic6891.a
${ip_addr}_${port}.mark:ip_addr为同步的目标服务器IP地址,port为本组storage server端口。例如:10.0.0.1_23000.mark。文件格式为ini配置文件方式,各个参数如下:
# binlog_index:已处理(同步)到的binlog索引号
# binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)
# need_sync_old:同步已有数据文件标记,0表示没有数据文件需要同步
# sync_old_done:同步已有数据文件是否完成标记,0表示未完成,1表示已完成
# until_timestamp:同步已有数据截至时间点(UNIX时间戳)
# scan_row_count:已扫描的binlog记录数
# sync_row_count:已同步的binlog记录数
数据文件名由系统自动生成,包括5部分:存储服务器IP地址、当前时间(Unix时间戳)、文件大小(字节数)、随机数和文件后缀。文件名长度为33字 节。文件可以按目录顺序存放,也可以按照PJW Hash算法hash到65536(256*256)个目录中分散存储,通过配置文件控制。
fastDFS教程Ⅱ-文件服务器迁移的更多相关文章
- FastDFS教程Ⅲ-文件服务器扩容
1.简介 FastDFS文件服务器在设计时,为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式.存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是 ...
- FastDFS教程IV-文件服务器集群搭建
1.简介 本文主要介绍FastDFS文件服务器的集群搭建,在阅读本文之前,您需具备FastDFS文件服务器单节点安装,扩容,迁移等方面的知识.同时,您还需了解Keepalived,nginx方 ...
- fastDFS文件服务器迁移
在实际的项目应用中,由于服务器替换或项目变更难免会存在fastDFS文件服务器迁移的工作.本文重点介绍fastDFS文件系统在不同情况下的文件迁移处理方案. 1.迁移时IP地址不变 通过文件服务器存储 ...
- FastDFS教程Ⅰ-文件服务器安装与Nginx配置
1.简介 FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载 ...
- Nginx 整合 FastDFS 实现文件服务器
原文地址:Nginx 整合 FastDFS 实现文件服务器 博客地址:http://www.extlight.com 一.前言 本篇衔接<FastDFS 环境搭建>内容进行讲解,上篇文章我 ...
- MVC4学习之官方教程中迁移版本库报错
因工作需要,学习MVC4,但是微软官方教程中迁移版本库步骤在本地测试报错 官方教程地址:http://www.asp.net/mvc/overview/older-versions/getting-s ...
- FastDFS分布式文件服务器
5.分布式文件服务器FastDFS(阿里巴巴) 5.1什么是FastDFS FastDFS 是用 c 语言编写的一款开源的分布式文件系统.FastDFS 为互联网量身定制,充分考虑了冗余备份.负载均衡 ...
- 使用fastdfs搭建文件服务器
一:安装tracker 1. 拷贝安装目录下各个.gz文件到/usr/local/src下,解压各个install lib,例如tar zxvf xxx.tar.gz 2. 先安装libfastcom ...
- 文件服务器迁移—FSMT
www.canway.net/Lists/CanwayOriginalArticels/DispForm.aspx?ID=282
随机推荐
- 十个强大的DevOps基础设施自动化工具,不容错过
Devops基础设施自动化的工具 有许多工具用于基础设施自动化.使用哪个工具决定于体系结构和基础设施的需求.下面我们列出了一些伟大的工具,用于不同类别配置管理.编制.持续集成.监控等. 1.Chef ...
- Window10 Linux子系统挂载磁盘
默认情况下, Linux子系统将当前winodws磁盘的盘全部挂载到/mnt/<disk_label>, 但一些新增的盘就需要手动做下了.. 官方参考文档 挂载磁盘 -- DrvFs 挂载 ...
- C++设计模式 ==> 策略模式与简单工厂模式结合
简介 策略模式相较之于简单工厂模式适用于生产方法经常变化且方法较为繁多的情况,因为生产方法时常变化就会需要频繁修改工厂类,违背了开闭原则,这时就可以用策略选择类由客户端根据需求动态切换策略.且策略模式 ...
- 新人如何进入IT行业
你遇到了我刚毕业时遇到的问题. 现在需要知道你希望在那里就业,上海和北京就业的待遇差不多,北京能比上海稍微少点(我是指你这类刚毕业的) 说主题好了 应届毕业,找工作都很难的,因为现在很多企业是不愿意找 ...
- MyBatis insert操作插入,返回主键from官方
下面就是 insert,update 和 delete 语句的示例: <insert id="insertAuthor" parameterType="domain ...
- jQuery1.9+ 废弃的函数和方法 升级Jquery版本遇到的问题
面临问题 很久没关注JQuery了,今天突然想升级一下系统中使用的jquery版本,突然发现,升级JQuery版本到1.9之后出现了很多问题,比如:$.browser is undefined.突然就 ...
- 1008. [HNOI2008]越狱【快速幂】
Description 监狱有连续编号为1...N的N个房间,每个房间关押一个犯人,有M种宗教,每个犯人可能信仰其中一种.如果 相邻房间的犯人的宗教相同,就可能发生越狱,求有多少种状态可能发生越狱 I ...
- 【转】使用Chrome Frame,彻底解决浏览器兼容问题
本文转自http://www.ryanbay.com/?p=269,感谢该作者的总结 X-UA-Compatible是自从IE8新加的一个设置,对于IE8以下的浏览器是不识别的. 通过在meta中设置 ...
- 理解javascript观察者模式(订阅者与发布者)
什么是观察者模式? 观察者模式又叫做发布订阅模式,它定义了一种一对多的关系,让多个观察者对象同时监听某一个主题对象,这个主题对象的状态发生改变时就会通知所有观察着对象.它是由两类对象组成,主题和观察者 ...
- Kafka设计解析(二十二)Flink + Kafka 0.11端到端精确一次处理语义的实现
转载自 huxihx,原文链接 [译]Flink + Kafka 0.11端到端精确一次处理语义的实现 本文是翻译作品,作者是Piotr Nowojski和Michael Winters.前者是该方案 ...