seaweedFS

那首先我们来分析一下seaweedfs是什么？seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目。它是用来存储文件的系统，并且与使用的语言无关，使得文件储存在云端变得非常方便。seaweedfs也是一个非常优秀的开源项目，Seaweedfs的设计原理是基于 Facebook 的一篇图片存储系统的论文Facebook-Haystack。一听就感觉作者很NB，有兴趣的可以去看一看Seaweedfs的源码，本文就讲解seaweedfs的搭建和简单应用。

seaweedfs的特点： 
1 可以成存储上亿的文件（根据你硬盘大小变化） 
2 速度刚刚的

接下来，便让我们开始进入正文。

一、seaweedfs的搭建

seaweedfs可以编译安装（需要VPN，网络环境不好，最好不用该方法安装），也可以下载释放版本镜像安装。

1、安装GO环境

(1)、下载go语言包，go语言包地址

wget 地址

比如：

wget https://golangtc.com/static/go/1.9.2/go1.9.2.linux-amd64.tar.gz

(2)、解压到指定目录，并添加环境变量

sudo tar -C /usr/local -xzf go1.9.2.linux-amd64.tar.gz

添加环境变量

#工作目录
export GOPATH=/opt/go
#解压目录
export GOROOT=/usr/local/go
export GOARCH=386
export GOOS=linux
export GOBIN=$GOROOT/bin
export GOTOOLS=$GOROOT/pkg/tool/
export PATH=$PATH:$GOBIN:$GOTOOLS

(3)、安装git、mercurial

sudo apt-get install git
suod apt-get install mercurial

(4)、安装seaweedfs

如果要编译安装运行下面命令，没有VPN，可以忽略下面命令：

go get github.com/chrislusf/seaweedfs/go/weed 

下载安装：seaweedfs地址

wget  https://github.com/chrislusf/seaweedfs/releases/download/0.76/linux_amd64.tar.gz

sudo tar -zxvf linux_amd64.tar.gz

(5)、配置运行seaweedfs

进入解压目录，以守护进程启动seaweedfs的主服务及集群

nohup ./weed master -mdir=/data/fileData -port=9333 -defaultReplication="001" -ip="ip地址" >>/data/fileData/server_sfs.log &

nohup ./weed volume -dir=/data/t_v1 -max=5 -mserver="ip地址:9333" -port=9080 -ip="ip地址" >>/data/t_v1_sfs.log &

nohup ./weed volume -dir=/data/t_v2 -max=5 -mserver="ip地址:9333" -port=9081 -ip="ip地址" >>/data/t_v2_sfs.log &

nohup ./weed volume -dir=/data/t_v3 -max=5 -mserver="ip地址:9333" -port=9082 -ip="ip地址" >>/data/t_v3_sfs.log &

将上面的ip地址换为具体的ip即可，默认可设为localhost。volume多少可以根据自己的情况添加。mdir、dir是指定文件存储路径。

一个 MasterServer 对应三个 VolumeServer ，设置复制模式为 “001” ， 也就是在相同 Rack 下复制副本为一份，也就是总共有两份。如下：

更多的其他配置可以查看文档

二、seaweedfs的文件应用

访问服务器ip地址:9333，可以看到如下界面

(1)获取fid，使用GET或POST访问路径http://localhost:9333/dir/assign，获取fid和上传文件地址，seaweedfs会返回json的结果。

如下：

curl -X POST http://localhost:9333/dir/assign

得到结果：

{"fid":"1,08e684f060","url":"1ocalhost:9080","publicUrl":"localhost:9080","count":1}

fid就是上传的标志。 
使用url或者publicUrl加上fid，就是文件上传的地址。如下：

 http://localhost:9080/1,08e684f060

接着就可以发起一个PUT或POST请求到上面的地址，把文件上传上去。

curl -X PUT -F file=@/home/back.png http://localhost:9080/1,08e684f060

结果如下：

{
    "name": "back.png",
    "size": 64300
}

(2)如果要更新一个文件，直接发起POST或者PUT请求到url+fid的地址即可。fid就是保存图片使用的fid。

(3)删除图片发起一个DELETE请求即可。

curl -X DELETE http://localhost:8080/1,08e684f060

(4)查看文件，需要fid。就是刚刚上传图片得到的fid。可以将其保存在数据库当中，查找文件时再调用。 
当有多个Volume集群时，可以通过参数指定查看某个卷。

curl http://localhost:9333/dir/lookup?volumeId=2

得到具体的地址：

{"volumeId":"2","locations":[{"url":"localhost:9081","publicUrl":"localhost:9081"}]}

然后访问具体的路由：

http://localhost:9081/fid

比如：http://localhost:9081/1,08e684f060 
可以带后缀，也可以不带。 
http://localhost:9081/1,08e684f060.jpg 
还可以带一些限定参数： 
http://localhost:9081/1,08e684f060.jpg 
http://localhost:9081/1,08e684f060.jpg?height=200&width=200 
http://localhost:9081/1,08e684f060.jpg?height=200&width=200&mode=fit 
http://localhost:9081/1,08e684f060.jpg?height=200&width=200&mode=fill

其实刚刚上传的是在9080的volume1，9081是volume2。但是通过fid加上具体的volume端口，依旧可以访问到图片的地址。

三、seaweedfs客户端使用

seaweedfs的使用与语言无关，都可以方便进行封装。github上也有一些开放的client。比如这个java的客户端。作者把线程分配、HTTP请求、文件操作进行了封装，更加方便。但是目前作者没怎么更新了，还有些问题。

我把客户端的java代码进行了重新覆写，上传到github了，seaweedfs-java-client欢迎大家start。

这里还有一些其他语言的客户端，大家也可以去学习更改一下：

java-client：https://github.com/Shuyun123/seaweedfs-java-client

php-client：https://github.com/micjohnson/weed-php

node-client：https://github.com/cruzrr/node-weedfs

python-client：https://github.com/darkdarkfruit/python-weed

scala-client：https://github.com/chiradip/WeedFsScalaClient

四、扩展

除了seaweedfs，还有一些其他的文件存储，比如：bfs（支撑Bilibili的小文件存储系统），github地址 bfs。感兴趣的读者可以去学习一下。 
还有比如阿里的https://github.com/alibaba/tfs，百度的https://github.com/baidu/bfs，fastdfs：https://github.com/happyfish100/fastdfs等。

作者：Anumbrella

链接： https://blog.csdn.net/Anumbrella/article/details/78585937