分布式文件存储：FastDFS简单使用与原理分析

引言

FastDFS 属于分布式存储范畴，分布式文件系统 FastDFS 非常适合中小型项目，在我接手维护公司图片服务的时候开始接触到它，本篇文章目的是总结一下 FastDFS 的知识点。

用了 2 台 2 核 4G 的阿里云服务器做集群部署，具体部署步骤请参考：https://github.com/happyfish100/fastdfs/wiki

1、FastDFS 分布式文件系统概述

FastDFS 是一个轻量级的开源分布式文件系统，作者为淘宝资深架构余庆。

FastDFS 主要解决了分布式文件存储与高并发访问的问题，实现了负载均衡，适合存储图片、视频、文档等文件，而且支持存储服务器的在线扩容。

2、FastDFS 架构

FastDFS 服务端有两个角色：Tracker 与 Storage，其中 Tracker 主要做调度工作，有着负载均衡作用，Storage 负责文件存取、同步等操作。

FastDFS 系统结构：

2.1、Client

客户端访问 FastDFS 分布式存储，一般为后端应用。

2.2、Tracker

Tracker 在 FastDFS 集群中有两大作用：

管理 Storage 集群，在 Storage 服务启动时，会把自己注册到 Tracker 上，并定期上报自身状态信息，包括磁盘剩余空间、文件同步状态、文件上传下载次数等统计信息。
Client 访问 Storage 服务之前，必须先访问 Tracker，动态获取到 Storage 服务的连接信息，有着负载均衡的作用。

2.3、Storage

Storage 是数据存储服务器，文件和 meta data 都保存在 Storage 服务器中。

有以下特点：

采用高可用的方式进行数据存储。
FastDFS 集群中，Storage 按组（Group/volume）提供服务，不同组的 Storage 之间不会互相通信，同组内的 Storage 之间会相互连接，进行文件同步。
Storage 服务采用 binlog 文件记录文件上传、删除等更新操作，binlog 中只记录文件名，不记录内容。
文件同步只在同组内的 Storage 服务之间进行，采用 push 方式，即圆通服务器同步给目标服务器。
FastDFS 将文件及相关的描述信息（MetaData）保存在 Storage 服务中，文件存储以后将返回唯一的文件标识，文件标识有组名和文件名两部分构成，MetaData 是文件的描述信息，如 width=1024,height=768。

3、文件上传原理

文件上传的原理如下图：

Client 询问 Tracker 可以上传到哪个 Storage。
Tracker 返回一台可用的 Storage 连接信息。
Client 直接与 Storage 通信，完成文件上传。
Storage 保存文件以后，返回 Client 文件标识（组名、文件名）。

4、文件下载原理

文件下载原理如下图：

Client 询问 Tracker 下文文件的 Storage,参数为文件标识（组名、文件名）。
Tracker 返回一台可用的 Storage。
Client 与 Storage 通信，完成文件下载过程。

5、文件同步原理

同一个组内的 Storage 服务是对等的，文件上传、删除等操作可以在任意一台 Storage 服务上执行，数据会在同组内 Storage 内同步。
文件同步（上传、删除、更新）采用 push 方式，即源服务器同步给目标服务器。
只有源头数据才需要同步，如果备份数据再次同步就会形成环路。
当新增 Storage 服务时，将已有的一台 Storage 的所有数据（源头数据与备份数据）同步给这台新增服务器。

6、服务端文件目录

6.1、TrackerServer

${base_path} 

|__data 

|     |__storage_groups.dat：存储分组信息 

|     |__storage_servers.dat：存储服务器列表 

|__logs 

   |__trackerd.log：tracker server日志文件

6.2、StorageServer

${base_path} 

|__data 

|     |__.data_init_flag：当前storage server 初始化信息 

|     |__storage_stat.dat：当前storage server统计信息 

|     |__sync：存放数据同步相关文件 

|     |     |__binlog.index：当前的binlog文件索引号 

|     |     |__binlog.###：存放更新操作记录（日志） 

|     |     |__${ip_addr}_${port}.mark：存放同步的完成情况 

|     | 

|     |__一级目录：256个存放数据文件的目录，如：00, 1F 

|           |__二级目录：256个存放数据文件的目录 

|__logs 

   |__storaged.log：storage server日志文件

7、服务端与客户端通讯协议

7.1、通讯协议介绍

FastDFS 服务端与客户端通讯时候采用的是自定义的通讯协议，如下图所示:

协议包由两部分组成：header 和 body

header 共 10 字节，格式如下：
- 8 bytes body length
- 1 byte command
- 1 byte status
body 数据包格式取决于具体的命令，body 可以为空。

7.2、命令代码和通讯状态代码

7.2.1、Tracker 管理命令代码

名称	命令
删除 storage	93
获取下载节点 QUERY_FETCH_ONE	102
获取更新节点 QUERY_UPDATE	103
不按组获取存储节点	101
按组获取存储节点	104
获取组列表	91
获取存储节点列表	92

7.2.2、 Store 文件上传命令代码

名称	命令	说明
文件上传	11	一般的文件上传，上传后为主文件
上传附属文件	21	"上传从文件文件，比如主文件为 xxx.jpg,从文件(缩略图)为 xxx-150_150.jpg"
删除文件	12	删除文件
设置文件元数据	13	上传文件创建日期，标签等
文件下载	14
获取文件元数据	15
查询文件信息	22	查询文件信息
创建支持断点续传的文件	23	创建一个支持断点续传的文件
断点续传	24	上传可断点上传的文件，如将大文件切为几份，分开上传
文件修改	34	修改支持断点上传的文件
清除文件	36	截取(清除)支持断点上传的文件

7.2.3、报文通讯状态代码

名称	代码
客户端关闭连接命令	82
连接状态检查命令	111
服务端正确返回报文	100

8、简单使用

我使用的是 fastdfs-client-java-1.27-SNAPSHOT.jar

happyfish100/fastdfs-client-java

这个库从 17 年 6 月 5 号之后就停止更新了，最近又开始更新代码了，看样子要维护了啊。

简单的对客户端进行了连接池的封装，方便使用。

系统启动，池子管理连接
心跳确认连接是否可靠
构造器模式创建连接池
回调方式使用客户端

源码地址：

ClawHub/FastDFS-Pool

以下为核心代码：

1.1、初始化连接池

/**

     * Build fast dfs conn pool.

     *

     * @return the fast dfs conn pool

     */

    public FastDFSConnPool build() {

        // 初始化空闲连接池

        idleConnectionPool = new LinkedBlockingQueue<>(maxPoolSize);

        //初始化全局参数

        try {

            ClientGlobal.init(confFileName);

        } catch (IOException | MyException e) {

            throw new RuntimeException("init client global exception.", e);

        }

        // 往线程池中添加默认大小的线程

        TrackerServer trackerServer;

        for (int i = 0; i < minPoolSize; i++) {

            //获取到连接

            trackerServer = createTrackerServer();

            if (trackerServer != null) {

                //放入空闲池

                idleConnectionPool.offer(trackerServer);

            }

        }

        // 注册心跳

        new HeartBeat(this).beat();

        return this;

    }

1.2、客户端执行请求

/**

     * 执行方式

     *

     * @param <T>    the type parameter

     * @param invoke the invoke

     * @return the t

     */

    public <T> T processFdfs(CallBack<T> invoke) {

        TrackerServer trackerServer = null;

        T t;

        try {

            //获取tracker连接

            trackerServer = fastDFSConnPool.checkOut();

            //获取storage

            StorageClient1 storageClient = new StorageClient1(trackerServer, null);

            //执行操作

            t = invoke.invoke(storageClient);

            //释放连接

            fastDFSConnPool.checkIn(trackerServer);

            return t;

        } catch (Exception e) {

            //删除链接

            fastDFSConnPool.drop(trackerServer);

            throw new RuntimeException(e);

        }

    }

1.3、心跳

    /**

     * 心跳任务

     */

    private class HeartBeatTask implements Runnable {

        @Override

        public void run() {

            LinkedBlockingQueue<TrackerServer> idleConnectionPool = fastDFSConnPool.getIdleConnectionPool();

            TrackerServer ts = null;

            for (int i = 0; i < idleConnectionPool.size(); i++) {

                try {

                    ts = idleConnectionPool.poll(fastDFSConnPool.getWaitTimes(), TimeUnit.SECONDS);

                    if (ts != null) {

                        ProtoCommon.activeTest(ts.getSocket());

                        idleConnectionPool.add(ts);

                    } else {

                        //代表已经没有空闲长连接

                        break;

                    }

                } catch (Exception e) {

                    //发生异常,要删除，进行重建

                    logger.error("heart beat conn  have dead, and reconnect.", e);

                    fastDFSConnPool.drop(ts);

                }

            }

        }

    }

1.4、使用方式

 //初始化连接池

        FastDFSConnPool fastDFSConnPool = new FastDFSConnPool()

                .confFileName("./config/fdfs_client.conf")

                .maxPoolSize(8)

                .minPoolSize(1)

                .reConnNum(2)

                .waitTimes(2).build();

        //使用客户端

        FastDFSClient client = new FastDFSClient(fastDFSConnPool);

        //上传  ileName 文件全路径 extName 文件扩展名，不包含（.） metas 文件扩展信息

        String parts = client.processFdfs(storageClient -> storageClient.upload_file1("fileName", "extName", new NameValuePair[0]));

        //下载 fileId: group1/M00/00/00/wKgRsVjtwpSAXGwkAAAweEAzRjw471.jpg

        byte[] bytes = client.processFdfs(storageClient -> storageClient.download_file1("fileId"));

        //删除 -1失败,0成功

        int result = client.processFdfs(storageClient -> storageClient.delete_file1("fileId"));

        //获取远程服务器文件资源信息  groupName   文件组名 如：group1  remoteFileName M00/00/00/wKgRsVjtwpSAXGwkAAAweEAzRjw471.jpg

        FileInfo fileInfo = client.processFdfs(storageClient -> storageClient.get_file_info("groupName", "remoteFileName"));

参考

FastDFS V5.12 分布式文件系统介绍

tobato/FastDFS_Client 的 wiki