fastDFS文件服务器迁移

在实际的项目应用中，由于服务器替换或项目变更难免会存在fastDFS文件服务器迁移的工作。本文重点介绍fastDFS文件系统在不同情况下的文件迁移处理方案。

1.迁移时IP地址不变

通过文件服务器存储规则定义，发现当ip地址没有发生变化时，这种文件服务器迁移是最简单的，只需要在新的服务器上安装fastDFS,把原来服务器上的tracker和storage下面的所有目录文件拷贝到新服务器，把所有的配置文件拷贝到新服务器，启动tracker和storage服务即可。

2.迁移时IP地址变化采用自定义server ID模式安装

在fastDFS文件服务器安装时，若前期考虑了文件迁移的需求采用了自定义server ID特性安装文件服务器（fastDFS安装请参考上一篇博客：FastDFS与Nginx的配置说明），在做新文件迁移时仅需如下操作(这种迁移测试很简单，变化ip时既可测试)：

安装新的fastDFS文件服务器；
关闭tracker服务和storage服务；
拷贝原有文件服务器tracker和storage下面的所有目录文件；
拷贝原有文件服务器的配置文件，如图：
编辑stroage_ids.conf文件，修改新的ip地址，如下图：
修改client.conf,storage.conf,mod_fastdfs.conf（若配置了 Servier ID模式，可以不修改）文件中的ip地址为新的ip地址。
启动tracker服务和storage服务；
利用ngigx测试下载以前服务器中存成的文件，下载原文件成功表示迁移成功。

3.迁移时IP地址变化采用默认配置安装

在这种模式下，文件迁移本质就是替换ip地址，找到文件服务器中配置文件与ip地址相关的文件替换后就可以了。但不建议采用这种模式安装，且一旦使用这样的模式安装后，需要切换为自定义 Server ID时，会报ip已经重复的异常，导致切换自定义安装失败（除非删除以前的存储文件）。为了迁移以前的文件数据，需进行如下操作：

新服务器停止tracker和storage，分别将其数据文件目录用旧服务器的文件替换掉。
删除新服务器data数据，使用旧服务器data替换
修改tracker的data文件，主要是修改以下文件中的ip信息。

data/storage_groups_new.dat
data/storage_servers_new.dat
data/storage_sync_timestamp.dat

修改storage的data文件，主要是修改以下文件中的ip信息。

data/.data_init_flag
data/sync/${ip_addr}_${port}.mark：此类文件，需要将文件名中的IP地址调整过来。若sync目录下面没有文件，可不修改。

修改client.conf,storage.conf,mod_fastdfs.conf文件中的ip地址为新的ip地址。
利用ngigx测试下载以前服务器中存成的文件，下载原文件成功表示迁移成功。

4.FastDFS服务器端运行时目录结构

${base_path}

|__data：存放数据文件

|__logs：存放日志文件
其中，${base_path}由配置文件中的参数“base_path”设定。

4.1 .tracker server

tracker server目录及文件结构：

  ${base_path}

|__data

|    |__storage_groups.dat：存储分组信息

|
   |__storage_servers.dat：存储服务器列表

|__logs

      |__trackerd.log：tracker server日志文件

数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（\n）分隔，字段之间以西文逗号（,）分隔。

storage_groups.dat中的字段依次为：
#. group_name：组名
#. storage_port：storage server端口号

storage_servers.dat中记录storage server相关信息，字段依次为：
#. group_name：所属组名
#. ip_addr：ip地址
#. status：状态
#. sync_src_ip_addr：向该storage server同步已有数据文件的源服务器
#. sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）
#. stat.total_upload_count：上传文件次数
#. stat.success_upload_count：成功上传文件次数
#. stat.total_set_meta_count：更改meta data次数
#. stat.success_set_meta_count：成功更改meta data次数
#. stat.total_delete_count：删除文件次数
#. stat.success_delete_count：成功删除文件次数
#. stat.total_download_count：下载文件次数
#. stat.success_download_count：成功下载文件次数
#. stat.total_get_meta_count：获取meta data次数
#. stat.success_get_meta_count：成功获取meta data次数
#. stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）
#. stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）

4.2 .storage serverstorage server目录及文件结构：

  ${base_path}

|__data

|    |__.data_init_flag：当前storage server初始化信息

|    |__storage_stat.dat：当前storage server统计信息

|    |__sync：存放数据同步相关文件

|    |
   |__binlog.index：当前的binlog（更新操作日志）文件索引号

|    |
   |__binlog.###：存放更新操作记录（日志）

|    |
   |__${ip_addr}_${port}.mark：存放向目标服务器同步的完成情况

|    |

|    |__一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F

|
   |__二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF

|__logs

      |__storaged.log：storage server日志文件

.data_init_flag文件格式为ini配置文件方式，各个参数如下：

  # storage_join_time：本storage server创建时间

  # sync_old_done：本storage server是否已完成同步的标志（源服务器向本服务器同步已有数据）

  # sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空

  # sync_until_timestamp：同步已有数据文件截至时间（UNIX时间戳）

storage_stat.dat文件格式为ini配置文件方式，各个参数如下：

  # total_upload_count：上传文件次数

  # success_upload_count：成功上传文件次数

  # total_set_meta_count：更改meta data次数

  # success_set_meta_count：成功更改meta data次数

  # total_delete_count：删除文件次数

  # success_delete_count：成功删除文件次数

  # total_download_count：下载文件次数

  # success_download_count：成功下载文件次数

  # total_get_meta_count：获取meta data次数

  # success_get_meta_count：成功获取meta data次数

  # last_source_update：最近一次源头更新时间（更新操作来自客户端）

  # last_sync_update：最近一次同步更新时间（更新操作来自其他storage server）

binlog.index中只有一个数据项：当前binlog的文件索引号
binlog.###，###为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。一个binlog文件最大为1GB。记录之间以换行符（\n）分隔，字段之间以西文空格分隔。字段依次为：

  1. timestamp：更新发生时间（Unix时间戳）

  2. op_type：操作类型，一个字符

  3. filename：操作（更新）的文件名，包括相对路径，如：5A/3D/VKQ-CkpWmo0AAAAAAKqTJj0eiic6891.a

${ip_addr}_${port}.mark：ip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：10.0.0.1_23000.mark。文件格式为ini配置文件方式，各个参数如下：

  # binlog_index：已处理（同步）到的binlog索引号

  # binlog_offset：已处理（同步）到的binlog文件偏移量（字节数）

  # need_sync_old：同步已有数据文件标记，0表示没有数据文件需要同步

  # sync_old_done：同步已有数据文件是否完成标记，0表示未完成，1表示已完成

  # until_timestamp：同步已有数据截至时间点（UNIX时间戳）

  # scan_row_count：已扫描的binlog记录数

  # sync_row_count：已同步的binlog记录数
数据文件名由系统自动生成，包括5部分：存储服务器IP地址、当前时间（Unix时间戳）、文件大小（字节数）、随机数和文件后缀。文件名长度为33字节。文件可以按目录顺序存放，也可以按照PJW Hash算法hash到65536（256*256）个目录中分散存储，通过配置文件控制。