分布式文件系统之FastDFS安装部署

　　前面我们了解了分布式文件系统mogilefs的框架以及安装部署和简单使用，回顾请参考https://www.cnblogs.com/qiuhom-1874/tag/MogileFS/；今天我们来了解下FastDFS集群的安装部署；

　　FastDFS是由国人研发的一个轻量级分布式文件系统，主要由tracker和storage两部分组成，相比mogilefs它不依赖数据库存储文件的元数据信息；FastDFS利用文件路径来避免了在tracker上存储文件的元数据；而对于文件本身的元数据，是由storage节点自身维护，我们可以理解tracker只负责维护集群的元数据，比如后端有哪些storage在线呀；对于用户端要访问某个文件或者上传某个文件，首先客户端还是要向tracker发送文件上传到请求，tracker收到请求后，然后根据后端storage周期性向它报告的心跳信息来判断哪个storage适合接受客户端的文件上传请求，然后trancker就把对应storage的ip地址和端口返回给客户端，然后客户端再向tracker返回的ip：port发送文件内容；在storage收到客户端发送过来的上传文件请求，它会向客户端返回保存的文件的fid；通常这个fid是由group名称/磁盘id/1级子目录/2级子目录/文件名哈希；然后再把客户端发送过来的文件内容保存到选定的位置，然后通知组中的其他节点同步数据；对于fastdfs来讲，后端的storage是以组为单位进行调度的，一个group中有多个storageserver组成，每个storageserver间互相同步文件，使得在同一组中storageserver上的文件相同，从而实现了文件的冗余；和mogilefs不同的是fastdfs的冗余是基于storage节点来做的，而mogilefs是基于device来做的；下载文件的过程和上传过程类似，首先client会想把下载请求发送给tracker，然后由tracker返回storage的ip：port，然后客户端再向storage server发送文件下载请求，storage收到客户端发送到文件下载请求后，在本地节点查找对应的文件，然后发送给客户端；

　　FastDFS架构图

　　提示：Tracker：调度器，负责维持集群的信息，例如各group及其内部的storage node，这些信息也是storage node报告所生成；每个storage node会周期性向tracker发心跳信息；storage server：以group为单位进行组织，任何一个storage server都应该属于某个group，一个group应该包含多个storage server；在同一个group内部，各storage server的数据互相冗余；每个storage server在文件存储完成后，会将其信息存于binlog， binlog不包含数据，仅包含文件名等元数据信息；binlog可用于同步；

　　FastDFS集群安装部署

　　环境说明

名称	角色	ip地址	端口
node01	tracker01	192.168.0.41	22122
node02	tracker02	192.168.0.42	22122
node03	storage node01/group1	192.168.0.43	23000
node04	storage node02/group1	192.168.0.44	23000

　　

　　所用到的包http://www.qiuhom.com/d/151dcb1c1599434bb3d1/；

　　所有节点时间同步

　　在所有节点安装所需要的包

[root@node01 ~]# rz
rz waiting to receive.
 zmodem trl+C ȡ

  100%       1 KB    1 KB/s 00:00:01       0 Errorsentos.x86_64.rpm...
  100%     703 KB  703 KB/s 00:00:01       0 Errorsx86_64.rpm...
  100%     199 KB  199 KB/s 00:00:01       0 Errors_64.rpm...
  100%     128 KB  128 KB/s 00:00:01       0 Errors4.rpm...
  100%      96 KB   96 KB/s 00:00:01       0 Errors64.rpm...
  100%      33 KB   33 KB/s 00:00:01       0 Errorss.x86_64.rpm...
  100%      35 KB   35 KB/s 00:00:01       0 Errors64.rpm...
  100%      17 KB   17 KB/s 00:00:01       0 Errorss.x86_64.rpm...

[root@node01 ~]# ls
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm
[root@node01 ~]# yum -y install ./*.rpm
Loaded plugins: fastestmirror
Examining ./fastdfs-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-server-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-tool-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./libfastcommon-1.0.36-1.el7.centos.x86_64.rpm: libfastcommon-1.0.36-1.el7.centos.x86_64
Marking ./libfastcommon-1.0.36-1.el7.centos.x86_64.rpm to be installed
Examining ./libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm: libfastcommon-devel-1.0.36-1.el7.centos.x86_64
Marking ./libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm to be installed
Examining ./libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm: libfdfsclient-5.0.11-1.el7.centos.x86_64
Marking ./libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm: libfdfsclient-devel-5.0.11-1.el7.centos.x86_64
Marking ./libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package fastdfs.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package fastdfs-debuginfo.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package fastdfs-server.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package fastdfs-tool.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package libfastcommon.x86_64 0:1.0.36-1.el7.centos will be installed
---> Package libfastcommon-devel.x86_64 0:1.0.36-1.el7.centos will be installed
---> Package libfdfsclient.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package libfdfsclient-devel.x86_64 0:5.0.11-1.el7.centos will be installed
--> Finished Dependency Resolution

Dependencies Resolved

====================================================================================================
 Package           Arch   Version             Repository                                       Size
====================================================================================================
Installing:
 fastdfs           x86_64 5.0.11-1.el7.centos /fastdfs-5.0.11-1.el7.centos.x86_64             0.0
 fastdfs-debuginfo x86_64 5.0.11-1.el7.centos /fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64   5.1 M
 fastdfs-server    x86_64 5.0.11-1.el7.centos /fastdfs-server-5.0.11-1.el7.centos.x86_64      548 k
 fastdfs-tool      x86_64 5.0.11-1.el7.centos /fastdfs-tool-5.0.11-1.el7.centos.x86_64        1.0 M
 libfastcommon     x86_64 1.0.36-1.el7.centos /libfastcommon-1.0.36-1.el7.centos.x86_64       459 k
 libfastcommon-devel
                   x86_64 1.0.36-1.el7.centos /libfastcommon-devel-1.0.36-1.el7.centos.x86_64 143 k
 libfdfsclient     x86_64 5.0.11-1.el7.centos /libfdfsclient-5.0.11-1.el7.centos.x86_64       187 k
 libfdfsclient-devel
                   x86_64 5.0.11-1.el7.centos /libfdfsclient-devel-5.0.11-1.el7.centos.x86_64  98 k

Transaction Summary
====================================================================================================
Install  8 Packages

Total size: 7.5 M
Installed size: 7.5 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : libfastcommon-1.0.36-1.el7.centos.x86_64                                         1/8
  Installing : libfdfsclient-5.0.11-1.el7.centos.x86_64                                         2/8
  Installing : libfdfsclient-devel-5.0.11-1.el7.centos.x86_64                                   3/8
  Installing : fastdfs-server-5.0.11-1.el7.centos.x86_64                                        4/8
  Installing : fastdfs-tool-5.0.11-1.el7.centos.x86_64                                          5/8
  Installing : libfastcommon-devel-1.0.36-1.el7.centos.x86_64                                   6/8
  Installing : fastdfs-5.0.11-1.el7.centos.x86_64                                               7/8
  Installing : fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64                                     8/8
  Verifying  : fastdfs-server-5.0.11-1.el7.centos.x86_64                                        1/8
  Verifying  : fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64                                     2/8
  Verifying  : fastdfs-tool-5.0.11-1.el7.centos.x86_64                                          3/8
  Verifying  : fastdfs-5.0.11-1.el7.centos.x86_64                                               4/8
  Verifying  : libfdfsclient-5.0.11-1.el7.centos.x86_64                                         5/8
  Verifying  : libfastcommon-devel-1.0.36-1.el7.centos.x86_64                                   6/8
  Verifying  : libfastcommon-1.0.36-1.el7.centos.x86_64                                         7/8
  Verifying  : libfdfsclient-devel-5.0.11-1.el7.centos.x86_64                                   8/8 

Installed:
  fastdfs.x86_64 0:5.0.11-1.el7.centos           fastdfs-debuginfo.x86_64 0:5.0.11-1.el7.centos
  fastdfs-server.x86_64 0:5.0.11-1.el7.centos    fastdfs-tool.x86_64 0:5.0.11-1.el7.centos
  libfastcommon.x86_64 0:1.0.36-1.el7.centos     libfastcommon-devel.x86_64 0:1.0.36-1.el7.centos
  libfdfsclient.x86_64 0:5.0.11-1.el7.centos     libfdfsclient-devel.x86_64 0:5.0.11-1.el7.centos   

Complete!
[root@node01 ~]#

　　配置tracker

　　拷贝示例配置文件为/etc/fdfs/tracker.conf

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

　　编辑配置tracker.conf

　　提示：修改base_path和max_connections这两项即可，base_path=用于指定存放data数据和日志文件的目录，max_connections用于指定最大连接数；后面还有很多参数和选项都是可以保持默认；

　　创建用于存放data数据和日志文件的目录（base_path指定的目录，如果存在不用在创建）

　　启动tracker

　　复制node01上的tracker配置文件到node02的/etc/fdfs/目录下

　　在node02上创建对应目录然后启动tracker

　　到此两个tracker节点就配置并启动完成；

　　配置storage

　　提示：pase_path用于指定存放data和logs的目录，后面的max_connections可以根据业务规模去设定；

　　提示：store_path_count用于指定磁盘个数，默认是1；store_path0用于指定第0快磁盘对应的目录，如果有多块这里可以写多个；subdir_count_per_path用于指定一级子目录和二级子目录的目录个数，这个值取值范围是1-256，默认是256个；tracker_server用于指定tracker的地址，可以写多个，用逗号隔开；storage节点设置以上内容就可以了；最上面有个group_name用于指定对应所属那个组，默认是group1，如果有多个组可以设定其加入那个组；

　　在node03上创建base_path和store_path0所指定的目录，然后启动storage

　　把node03上的storage配置文件复制到node04上，然后在node04上创建对应的目录，启动storage

　　到此整个集群的tracker和storage节点就搭建并启动完成

　　测试：使用fdfs_test上传文件，看看是否能够将文件上传上去？

　　提示：fdfs_test工具上传文件需要提供配置文件，然后加选项工作；

　　配置客户端配置文件

　　提示：在client.conf中明确配置tracker的地址base_path即可；

　　使用fdfs_test 上传文件

　　提示：上传文件上传完成了，返回给我们一个http的连接，其实这个连接是无法访问的，因为在storage上没有提供http服务；需要手动安装nginx进行反代；从上面返回的信息可以了解到，文件存储到192.168.0.43上去了；我们去对应节点上找对应的文件，看看是否是我们上传的文件内容；

　　在node03上查看上传的文件

　　提示：可以看到在node03上的磁盘目录下能够找到对应的文件，并且文件内容也是我们上传到文件内容；

　　验证：在node04的对应目录看看是否有相同的文件？

　　提示：可以看到node04上也有同node03一模一样的文件；这说明在node03接收完客户端上传的文件后，通知node04过来同步了；

　　测试：使用fdfs_test 下载文件

　　提示：可以看到下载文件也是没有问题；并且它还告诉我们对应的存储节点上192.168.0.44：23000；

　　提示：我们多次下载同一个文件，它默认会从后端的group1中以轮询的方式去storage节点下载对应的文件；

　　为storage节点提供nginx反代，让其能够直接通过客户端返回的url访问文件内容

　　下载nginx源码包和支持fastdfs的第三方模块

　　提示：nginx源码包去nginx官方网站下载即可，支持fastdfs第三方模块可以去https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz下载；

　　安装编译环境

 yum groupinstall -y "Development Tools"

　　提示：在所有storage节点上安装好编译换，方便后面再编译nginx；

　　安装依赖包

yum install pcre-devel openssl-devel zlib-devel  libxslt-devel gd-devel  perl-ExtUtils-Embed geoip-devel  -y

　　创建nginx用户

useradd -rs /sbin/nologin nginx

　　提示：以上几步都在所有的storage上执行；

　　解压nginx源码包和第三方模块源码包，并进入到nginx源码包下

　　进行预编译环境检查

./configure \
--prefix=/usr/share/nginx \
--sbin-path=/usr/sbin/nginx \
--modules-path=/usr/lib64/nginx/modules \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--http-client-body-temp-path=/var/lib/nginx/tmp/client_body \
--http-proxy-temp-path=/var/lib/nginx/tmp/proxy \
--http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi \
--http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi \
--http-scgi-temp-path=/var/lib/nginx/tmp/scgi \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/lock/subsys/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \
--with-ipv6 \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_realip_module \
--with-http_addition_module \
--with-http_xslt_module=dynamic \
--with-http_image_filter_module=dynamic \
--with-http_geoip_module=dynamic \
--with-http_sub_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_mp4_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_random_index_module \
--with-http_secure_link_module \
--with-http_degradation_module \
--with-http_slice_module \
--with-http_stub_status_module \
--with-http_perl_module=dynamic \
--with-mail=dynamic \
--with-mail_ssl_module \
--with-pcre --with-pcre-jit \
--with-stream=dynamic \
--with-stream_ssl_module \
--with-debug \
--with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' \
--with-ld-opt=' -Wl,-E' \
--add-module=../fastdfs-nginx-module-1.20/src/

　　提示：如果预编译环境检查有提示错误，通常是系统环境缺少某些devel包导致的，安装对应的devel包即可解决；

　　提示：提示以上信息就表示编译环境满足编译需求；

　　编译安装

 make -j 4 && make install

　　提示：以上错误说common_define.h没有找到，解决办法修改fastdfs-niginx-module-1.20/src/下的config文件内容；

　　提示：把上面注释掉内容修改成红色框里的内容，然后保存，重新预编译检查环境生成makefile;然后再次编译；

　　提示：重新configure后再次编译安装就没有出现什么错误；到此nginx的编译安装就完成了；

　　复制fastdfs-nginx-module-1.20/src/mod_fastdfs.conf 到/etc/fdfs/目录下

　　编辑mod_fastdfs.conf

　　提示：mod_fastdfs.conf文件主要修改base_path、tracker_server、store_path0 ... log_filename这四个参数；

　　在对应目录下创建日志文件，并把属组和属主修改成nginx用户

[root@node03 fdfs]# touch /var/log/nginx/mod_fastdfs.log
[root@node03 fdfs]# chown -R nginx.nginx /var/log/nginx/mod_fastdfs.log

　　配置nginx代理本地的M00

　　验证nginx的配置文件语法

　　提示：这里提示我们缺少目录；解决办法创建对应的目录，并且把属组和属主修改为nginx用户；

　　提示：可以看到nginx已进起来了；

　　验证：上传图片，然后用nginx去访问对应的rul看看是否能够访问到对应的图片？

　　提示：这里上传图片成功，并返回图片名；虽然它这里给我们返回的是192.168.0.44的地址，但是node03和node04在同一个组中，所以我们访问node03上对应文件名称也是能够访问到对应文件内容的；

　　使用浏览器访问192.168.0.43/M00/00/00/wKgALF9l4TWAE81tAA6q2wjnW8s693.jpg，看看是否访问到我们上传到图片？

　　提示：可以看到访问node03上的对应文件名是可以访问到我们上传到文件；说明在node03上基于nginx反代fastdfs是成功的；

　　验证：在node01上抓包，看看node03和node04是否在周期性的报告自己的心跳信息？

　　提示：可以看到node03和node04在给node01发送自己的心跳信息；