MFS分布式文件系统管理
MFS官方网站http://www.moosefs.org/reference-guide.html
mooseFS(moose驼鹿)是一款网络分布式文件系统,它把数据分散到多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类unix文件系统,包含了层级结构(目录树),存储着文件属性(权限,最后访问和修改时)可以创建特殊的文件(块设备,字符设备,管道,套接字)符号链接.
MooseFS文件系统介绍:
MooseFS是一中分布式文件系统,MooseFS文件系统结构包括一下四种角色:
1.管理服务器master
管理服务器:负责各个数据存储服务的管理文件读写调度,文件空间回收以及恢复,多节点拷贝
2.元数据日志服务器:负责备份master服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在master server出现问题的时候解体器 进行工作
3.数据存储服务器data server(chunk servers)
真正存储用户数据的服务器 ,存储文件时,首先把文件分成块,然后这些块在数据服务器chunkserver之间赋值(复制份数可以手工指定,建议设置副本数为数据服务器可以为多个,并且数据越多,可使用的“磁盘空间越大,”可靠性也越高 .
4.客户端挂在 使用clinet computers
使用MFS文件系统来存储和访问的主机名称为MFS的客户端,成功挂载MFS系统以后,就可以像以前NFS一样共享这个虚拟性的存储了。
实验环境:
服务器:
masters:192.168.20.138
chunk-server:192.168.20.150
Metalogger-server192.168.20.163
客户端挂载使用(clinet computers):192.168.20.163
---------------------------------------------------------------------------------------------
实验环境准备:
fuse.ko
所有服务器端和客户端都要支持 fuse内核模块。
由于MFS的客户端程序也就是jiazaimfs磁盘系统的命令是使用了fuse.
用户空间文件系统(简称FUSE)是操作系统中的概念,指完全在用户状态实现的文件系统,目前linux通过内核模块对此进行支持,一些文件系统如NTFS-3G(作用:让linux中对NTFS文件系统提供支持)使用FUSE实现.
2.6以上内核,都自带fuse
一.Master
[root@master ~]# yum install gcc fuse fuse-devel zlib-devel –y
[root@master ~]# useradd -M -s /sbin/nologin mfs
[root@master ~]# tar zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[root@master ~]# cd /usr/src/mfs-1.6.27/
[root@master mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
root@master mfs-1.6.27]# make
root@master mfs-1.6.27]# make install
[root@master mfs]# cp mfsexports.cfg.dist mfsexports.cfg
[root@master mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg
[root@master mfs]# cp mfstopology.cfg.dist mfstopology.cfg
[root@master mfs]# cd /usr/local/mfs/var/mfs
[root@master mfs]# ls
metadata.mfs.empty
[root@master mfs]# cp metadata.mfs.empty metadata.mfs
[root@master mfs]# cat /usr/local/mfs/etc/mfs/mfsexports.cfg
[root@master mfs]# cat /usr/local/mfs/etc/mfs/mfsmaster.cfg
[A1] [root@master mfs]# /usr/local/mfs/sbin/mfsmaster restart[A2]
[root@master mfs]# netstat -anput | grep mfs
tcp 0 0 0.0.0.0:9419 0.0.0.0:* LISTEN 10761/mfsmaster
tcp 0 0 0.0.0.0:9420 0.0.0.0:* LISTEN 10761/mfsmaster
tcp 0 0 0.0.0.0:9421 0.0.0.0:* LISTEN 10761/mfsmaster
[A1]简单查看文件的配置,暂不做修改
[A2]启动MFS
二.安装MataLogger(元数据日志服务器)
[root@Metalogger-server ~]# yum install gcc fuse fuse-devel zlib-devel –y
[root@Metalogger-server ~]# useradd -M -s /sbin/nologin mfs
[root@Metalogger-server ~]# tar zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[root@Metalogger-server mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmoumnt
[root@Metalogger-server mfs-1.6.27]# make
[root@Metalogger-server mfs-1.6.27]# make install
[root@Metalogger-server mfs-1.6.27]# cd /usr/local/mfs/etc/mfs
[root@Metalogger-server mfs]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
[root@Metalogger-server mfs]# vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg
[root@Metalogger-server mfs]# /usr/local/mfs/sbin/mfsmetalogger restart
[root@Metalogger-server mfs]# ps -elf | grep mfs
5 S mfs 36452 1 0 61 -19 - 2764 poll_s 11:06 ? 00:00:00 /usr/local/mfs/sbin/mfsmetalogger restart
0 S root 36459 3535 0 80 0 - 25814 pipe_w 11:08 pts/1 00:00:00 grep mfs
三.Chunk-server(数据存储服务器)
[root@chunk-server ~]# yum install gcc fuse fuse-devel zlib-devel –y
[root@chunk-server ~]# useradd -M -s /sbin/nologin mfs
[root@chunk-server ~]# tar zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[root@chunk-server ~]# cd /usr/src/mfs-1.6.27/
[root@chunk-server mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfsmount
[root@chunk-server mfs-1.6.27]# make
[root@chunk-server mfs-1.6.27]# make install
[root@chunk-server mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/
[root@chunk-server mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[root@chunk-server mfs]# cp mfshdd.cfg.dist mfshdd.cfg
[root@chunk-server mfs]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg
oot@chunk-server mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[root@chunk-server mfs]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg
[root@chunk-server mfs]# vim /usr/local/mfs/etc/mfs/mfshdd.cfg
root@chunk-server ~]# mkdir /data
[root@chunk-server ~]# chown -R mfs:mfs /data/
[root@chunk-server ~]# /usr/local/mfs/sbin/mfschunkserver restart
[root@chunk-server ~]# ps -elf | grep mfs
5 S mfs 25099 1 2 61 -19 - 42704 poll_s 21:44 ? 00:00:01 /usr/local/mfs/sbin/mfschunkserver restart
0 S root 25125 20503 0 80 0 - 25805 pipe_w 21:45 pts/1 00:00:00 grep mfs
[root@chunk-server ~]# netstat -anput | grep mfs
tcp 0 0 0.0.0.0:9422 0.0.0.0:* LISTEN 25099/mfschunkserve
四:客户部署与配置
yum install gcc fuse fuse-devel zlib-devel –y
[root@localhost ~]# tar zxvf fuse-2.9.2.tar.gz -C /usr/src/
[root@localhost ~]# cd /usr/src/fuse-2.9.2/
[root@localhost fuse-2.9.2]# ./configure
[root@localhost fuse-2.9.2]# make && makek install
[root@localhost fuse-2.9.2]# vim /etc/profile
root@localhost fuse-2.9.2]# . /etc/profile
[root@localhost fuse-2.9.2]# source /etc/profile
[root@localhost ~]# useradd -M -s /sbin/nologin mfs
[root@localhost ~]# tar zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
root@localhost ~]# cd /usr/src/mfs-1.6.27/
root@localhost mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver --enable-mfsmount
如果还是有问题的,解决方法:yum -y install fuse-devel
root@localhost mfs-1.6.27]# make && make install
[root@localhost mfs-1.6.27]# cd
[root@localhost ~]# modprobe fuse
[root@localhost ~]# mkdir /xiaoyu
[root@localhost ~]# /usr/local/mfs/bin/mfsmount /xiaoyu/ -H 192.168.20.138
mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root
[root@localhost ~]# mount
[root@localhost ~]# df –Th
root@localhost ~]# vim /etc/profile
export PATH=/usr/local/mfs/bin$PATH
[root@localhost ~]# source /etc/profile
[root@localhost ~]# ln -s /usr/local/mfs/bin/* /usr/local/bin/
[root@localhost ~]# mfsgetgoal -r /xiaoyu/
root@localhost ~]# mfsgetgoal -r /xiaoyu/
/xiaoyu/:
directories with goal 1 : 1
[root@localhost ~]# mfsgetgoal -r 3 /xiaoyu/
3: realpath error on (/root/3): ENOENT (No such file or directory)
/xiaoyu/:
directories with goal 1 :
MFS分布式文件系统管理的更多相关文章
- Linux MFS分布式文件系统介绍和安装
MFS分布式文件系统 mooseFS(moose 驼鹿)是一款网络分布式文件系统.它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类unix文件系统一样,包含了层级结构(目 ...
- MFS分布式文件系统
一.MFS概述: MooseFS(moose 驼鹿)是一款网络分布式文件系统.它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源.MFS也像其他类unix文件系统一样,包含了层级结构(目录树 ...
- Hadoop HDFS概念学习系列之分布式文件管理系统(二十五)
数据量越来越多,在一个操作系统管辖的范围存在不了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来 管理多台机器上的文件,这就是分布式文件管理系统. 是一种允许文件 ...
- linux下fdisk分区管理、文件系统管理、挂载文件系统等
分区管理工具有:fdisk, parted, sfdisk fdisk:对于一块硬盘来讲,最多只能管理15分区: # fdisk -l [-u] [device...] 查看硬盘设备分区信息 # f ...
- 【linux相识相知】磁盘分区及文件系统管理详解
磁盘,提供持久的数据存储,它不像我们的内存,如果突然断电了,在内存中的数据一般都会被丢掉了,内存中的数据在保存的时候,会被写到硬盘里面,磁盘也是一种I/O设备. 我们都知道磁盘分区完成之后,还要进行格 ...
- Linux:Day7(下) 磁盘管理、文件系统管理
Linux入门 Linux系统管理: 磁盘管理.文件系统管理 RAID基本原理.LVM2 网络管理:TCP/IP协议.Linux网络属性配置 程序包管理:rpm,yum 进程管理:htop,glanc ...
- 构建MFS分布式文件系统
++++++++++++++构建MFS分布式文件系统++++++++++++++PB级别:企业存储空间达到PB级别,即100万GB空间.(1PB=1000TB,1TB=1000GB,1GB=1000M ...
- 第7天【find命令、if语句、磁盘管理、文件系统管理】
find命令详解(01)_recv Find及文件特殊权限: 文件查找工具: Find Find [OPTON]…[查找路径] [查找条件] [处理动作] 查找路径:指定具体目标路径,默认为当前路径 ...
- MooseFS分布式文件系统介绍及安装教程详解
MFS系统由4个部分构成:master.metalogger.chunkserver.client. 1.Master —— mfs的大脑,记录着管理信息,比如:文件大小,存储的位置,份数等,和inn ...
随机推荐
- 修改phpstorm的字体样式和大小
默认的字体实在太小,也太丑,必须修改下.就是强迫症,没错.下面截图配文字说明下 方法/步骤 首先进入设置,不解释 先设置软件界面上的字体.进入设置之后,选择(外观)Appearance.之后软 ...
- document.querySelectorAll() 与document.getElementTagName() 的区别
这个区别我估计大神都不知道,问题源于博主,细节被一个妹子发现的 事情经过是这样 <ul> <li>item</li> <li></li> & ...
- (转载)java基础:关于java流与文件操作
原文摘自: http://www.blogjava.net/haizhige/archive/2008/08/03/219668.html 1.描述:流是字节数据或字符数据序列. Java采用输入流对 ...
- NEWS-包名-baseTest-类名-ConfigManager
package baseTest; import java.io.IOException;import java.io.InputStream;import java.util.Properties; ...
- TCP错误恢复特性之一TCP重传
TCP的错误恢复特性是我们用来定位.诊断并最终修复网络高延迟的最好工具. 常见的TCP错误恢复特性有:TCP重传.TCP重复确认和快速重传 1. TCP重传: 重传数据包是TCP最基本的错误恢复特性之 ...
- POJ 1470 Closest Common Ancestors(最近公共祖先 LCA)
POJ 1470 Closest Common Ancestors(最近公共祖先 LCA) Description Write a program that takes as input a root ...
- Android事件分发理解
Android事件分发机制是个难点和重点,结合下各家,写点自己的理解.. 首先抛出一个小问题,写一个button的点击事件 button.setOnClickListener(new OnClickL ...
- ReactiveSwift源码解析(八) SignalProducer的代码的基本实现
在前面几篇博客中我们详细的聊了ReactiveSwift中的Bag.Event.Observer以及Signal的使用方式和代码实现.那么在接下来的这几篇博客中,我们就依附于之前博客的基础上来聊一聊S ...
- 事务之使用JDBC进行事务的操作2
本篇将讲诉如何使用JDBC进行数据库有关事务的操作.在上一篇博客中已经介绍了事务的概念,和在MySQL命令行窗口进行开启事务,提交事务以及回滚事务的操作. 似乎事务和批处理都可以一次同时执行多条SQL ...
- Linux服务器学习(一)
一.首先连接服务器 下载一个windows下连接linux的ssh工具,我这里用的putty.一次填入HostName(主机名,可以是服务器域名也可以是对应的ip).Port(端口号默认为22).Co ...