MFS搭建

MooseFS是一个分布式存储的框架，其具有如下特性：

    1.Free(GPL)

    2.通用文件系统，不需要修改上层应用就可以使用

    3.可以在线扩容，体系架构可伸缩性极强。

    4.部署简单。

    5.高可用，可设置任意的文件冗余程度

    6.可回收在指定时间内删除的文件

    7.提供netapp，emc，ibm等商业存储的snapshot特性。

    8.google filesystem的一个c实现。

    9.提供web gui监控接口。

    10.提高随机读或写的效率。

    11.提高海量小文件的读写效率。

 

MFS 工作原理和设计架构

 

官方的网络示意图是这样的：

 

读写原理：

 

 

192.168.122.10    node1.uplooking.com    master server   

192.168.122.20    node2.uplooking.com    metalogger server

192.168.122.30    node3.uplooking.com    chunk server

192.168.122.40    node4.uplooking.com    chunk server

192.168.122.50    node5.uplooking.com    chunk server

192.168.122.60    node6.uplooking.com    mfs client

 

 

master server

 

[root@node1 ~]# useradd mfs -s /sbin/nologin

[root@node1 ~]# cd /tmp/

[root@node1 tmp]# tar xf mfs-1.6.20-2.tar.gz

[root@node1 tmp]# cd mfs-1.6.20-2

[root@node1 mfs-1.6.20-2]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

[root@node1 mfs-1.6.20-2]# make

[root@node1 mfs-1.6.20-2]# make install

[root@node1 mfs-1.6.20-2]# cd /usr/local/mfs/etc/

主配置文件

[root@node1 etc]# cp mfsmaster.cfg.dist mfsmaster.cfg

被挂接目录及权限配置

[root@node1 etc]# cp mfsexports.cfg.dist mfsexports.cfg

[root@node1 etc]# cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs

[root@node1 etc]# /usr/local/mfs/sbin/mfsmaster start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmaster modules ...

loading sessions ... ok

sessions file has been loaded

exports file has been loaded

loading metadata ...

create new empty filesystemmetadata file has been loaded

no charts data file - initializing empty charts

master <-> metaloggers module: listen on *:9419

master <-> chunkservers module: listen on *:9420

main master server module: listen on *:9421

mfsmaster daemon initialized properly

 

启动WEB监控服务

[root@node1 etc]# /usr/local/mfs/sbin/mfscgiserv

starting simple cgi server (host: any , port: 9425 , rootpath: /usr/local/mfs/share/mfscgi)

 

[root@node1 etc]# firefox http://192.168.122.10:9425

 

 

 

chunk server

 

[root@node3 ~]# useradd mfs -s /sbin/nologin

[root@node3 ~]# cd /tmp/

[root@node3 tmp]# tar xf mfs-1.6.20-2.tar.gz

[root@node3 tmp]# cd mfs-1.6.20-2

 

[root@node3 mfs-1.6.20-2]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfsmount

 

[root@node3 mfs-1.6.20-2]# make

[root@node3 mfs-1.6.20-2]# make install

[root@node3 mfs-1.6.20-2]# cd /usr/local/mfs/etc/

[root@node3 etc]# cp mfschunkserver.cfg.dist mfschunkserver.cfg

mfs使用空间配置

[root@node3 etc]# cp mfshdd.cfg.dist mfshdd.cfg

 

[root@node3 etc]# vim /usr/local/mfs/etc/mfschunkserver.cfg

MASTER_HOST = 192.168.122.10

[root@node3 etc]# mkdir /data

[root@node3 etc]# mount /dev/hda1 /data

[root@node3 etc]# chown -R mfs:mfs /data

[root@node3 etc]# vim mfshdd.cfg

/data

[root@node3 etc]# /usr/local/mfs/sbin/mfschunkserver start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfschunkserver modules ...

hdd space manager: scanning folder /data/ ...

hdd space manager: scanning complete

hdd space manager: /data/: 0 chunks found

hdd space manager: scanning complete

main server module: listen on *:9422

no charts data file - initializing empty charts

mfschunkserver daemon initialized properly

 

 

 

metalogger server

 

[root@node2 ~]# useradd mfs -s /sbin/nologin

[root@node2 ~]# cd /tmp/

[root@node2 tmp]# tar xf mfs-1.6.20-2.tar.gz

[root@node2 tmp]# cd mfs-1.6.20-2

[root@node2 mfs-1.6.20-2]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount

[root@node2 mfs-1.6.20-2]# make

[root@node2 mfs-1.6.20-2]# make install

[root@node2 mfs-1.6.20-2]# cd /usr/local/mfs/etc/

[root@node2 etc]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

[root@node2 etc]# vim mfsmetalogger.cfg

MASTER_HOST = 192.168.122.10

 

[root@node2 etc]# /usr/local/mfs/sbin/mfsmetalogger start

working directory: /usr/local/mfs/var/mfs

lockfile created and locked

initializing mfsmetalogger modules ...

mfsmetalogger daemon initialized properly

 

 

 

 

mfs client

 

[root@node6 ~]# yum install fuse fuse-libs fuse-devel

 

[root@node6 ~]# useradd mfs -s /sbin/nologin

[root@node6 ~]# cd /tmp/

[root@node6 tmp]# tar xf mfs-1.6.20-2.tar.gz

[root@node6 tmp]# cd mfs-1.6.20-2

 

[root@node6 mfs-1.6.20-2]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver

[root@node6 mfs-1.6.20-2]# make

[root@node6 mfs-1.6.20-2]# make install

 

 

[root@node6 mfs-1.6.20-2]# /usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.122.10

mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root

[root@node6 mfs-1.6.20-2]# /usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta -H 192.168.122.10

mfsmaster accepted connection with parameters: read-write,restricted_ip

 

可能报错

# /usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.122.10

mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root

fuse: device not found, try 'modprobe fuse' first

error in fuse_mount

解决办法

# modprobe fuse

再次挂载

# /usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta -H 192.168.122.10

mfsmaster accepted connection with parameters: read-write,restricted_ip

 

[root@node6 mfs-1.6.20-2]# df -h

Filesystem                                Size      Used     Avail     Use%     Mounted on

/dev/mapper/VolGroup00-LogVol00    8.6G      2.6G      5.6G      32%     /

/dev/vda1                                  99M       12M       82M      13%     /boot

tmpfs                                     252M         0          252M      0%         /dev/shm

mfs#192.168.122.10:9421            22G         0           22G       0%         /mnt/mfs

 

 

 

MFS的高级特性

 

1.冗余goal设置

目标（goal），是指文件被拷贝的份数，设定了拷贝的份数后是可以通过mfsgetgoal 命令来证实的，也可以通过mfsrsetgoal 来改变设定。

 

/usr/local/mfs/bin/mfssetgoal 3 /mnt/mfs/test1

/usr/local/mfs/bin/mfsgetgoal /mnt/mfs/test1

    /mnt/mfs/test1: 3

 

用mfsgetgoal –r 和mfssetgoal –r 同样的操作可以对整个树形目录递归操作，其等效于mfsrsetgoal命令。实际的拷贝份数可以通过mfscheckfile 和mfsfile info 命令来证实。

 

注意以下几种特殊情况：

◾一个不包含数据的零长度的文件,尽管没有设置为非零的目标（the non-zero “goal”）,但用mfscheckfile 命令查询将返回一个空的结果；将文件填充内容后，其会根据设置的goal创建副本；这时再将文件清空，其副本依然作为空文件存在。

◾假如改变一个已经存在的文件的拷贝个数，那么文件的拷贝份数将会被扩大或者被删除，这个过程会有延时。可以通过mfscheckfile 命令来证实。

◾对一个目录设定“目标”，此目录下的新创建文件和子目录均会继承此目录的设定，但不会改变已经存在的文件及目录的拷贝份数。

可以通过mfsdirinfo来查看整个目录树的信息摘要。

 

2.垃圾回收站

 

一个删除文件能够存放在一个“ 垃圾箱”的时间就是一个隔离时间， 这个时间可以用mfsgettrashtime 命令来验证，也可以用mfssettrashtime 命令来设置。如：

/usr/local/mfs/bin/mfssettrashtime 64800 /mnt/mfs/test1

/usr/local/mfs/bin/mfsgettrashtime /mnt/mfs/test1

    /mnt/mfs/test1: 64800

 

时间的单位是秒(有用的值有:1 小时是3600 秒,24 – 86400 秒,1天 – 604800 秒)。就像文件被存储的份数一样, 为一个目录设定存放时间是要被新创建的文件和目录所继承的。数字0 意味着一个文件被删除后, 将立即被彻底删除，在想回收是不可能的。

 

删除文件可以通过一个单独安装MFSMETA 文件系统。特别是它包含目录/ trash (包含任然可以被还原的被删除文件的信息)和/ trash/undel (用于获取文件)。只有管理员有权限访问MFSMETA(用户的uid 0，通常是root)。

 

/usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta -H 192.168.0.1

 

被删文件的文件名在“垃圾箱”目录里还可见,文件名由一个八位十六进制的数i-node 和被删文件的文件名组成，在文件名和i-node 之间不是用“/”,而是用了“|”替代。如果一个文件名的长度超过操作系统的限制（通常是255 个字符），那么部分将被删除。通过从挂载点起全路径的文件名被删除的文件任然可以被读写。

 

移动这个文件到trash/undel 子目录下，将会使原始的文件恢复到正确的MooseFS 文件系统上路径下（如果路径没有改变）。如果在同一路径下有个新的同名文件，那么恢复不会成功。

 

从“垃圾箱”中删除文件结果是释放之前被它站用的空间(删除有延迟,数据被异步删除)。

 

在MFSMETA中还有另一个目录reserved，该目录内的是被删除但依然打开的文件。在用户关闭了这些被打开的文件后，reserved 目录中的文件将被删除，文件的数据也将被立即删除。在reserved 目录中文件的命名方法同trash 目录中的一样，但是不能有其他功能的操作。

 

3.快照snapshot

 

MooseFS 系统的另一个特征是利用mfsmakesnapshot 工具给文件或者是目录树做快照。

/usr/local/mfs/bin/mfsmakesnapshot source ... destination

 

Mfsmakesnapshot 是在一次执行中整合了一个或是一组文件的拷贝，而且任何修改这些文件的源文件都不会影响到源文件的快照， 就是说任何对源文件的操作,例如写入源文件，将不会修改副本(或反之亦然)。

 

也可以使用mfsappendchunks：

/usr/local/mfs/bin/mfsappendchunks destination-file source-file ...

 

当有多个源文件时，它们的快照被加入到同一个目标文件中（每个chunk 的最大量是chunk）。