MogileFS系统简单配置实例

实验原理：

MogileFS是一个开源的分布式文件系统，用于组建分布式文件集群，由LiveJournal旗下DangaInteractive公司开发，Danga团队开发了包括 Memcached、MogileFS、Perlbal等不错的开源项目：（注：Perlbal是一个强大的Perl写的反向代理服务器）。 MogileFS是一个开源的分布式文件系统。主要特性包括：应用层的组件、无单点故障、自动文件复制、具有比RAID更好的可靠性、无需RAID支持等……核心角色如下：

Tracker节点：借助数据库保存各节点文件的元数据信息保存每个域中所有键的存储位置分布，方便检索定位数据位置的同时监控各节点，告诉客户端存储区位置并指挥storage节点复制数据副本，进程名为mogilefsd（7001）。

Database节点：为tracker节点提供数据存取服务。

Storage节点：将指定域中的键转换为其特有的文件名存储在指定的设备文件中，转换后的文件名为值，storage节点自动维护键值的对应关系，storage节点由于使用http进行数据传输，因此依赖于perlbal，storage节点前端可以使用nginx进行反向代理，但需要安装nginx-mogilefs-module-master模块进行名称转换，进程名mogstored（7501），perbal（7500）。

Domain：一个域中的键值是惟一的，一个MogileFS可以有多个域，域可以用来存储不同应用类型的数据的容器。

Host：每一个存储节点称为一个主机，一个主机上可以有多个存储设备（单独的硬盘），每个设备都有ID号，Domain+Fid用来定位文件。

Class：复制最小单位，文件属性管理，定义文件存储在不同设备上份数。

实验系统：CentOS 6.6_x86_64

实验前提：提前准备好编译环境，防火墙和selinux都关闭

实验说明：本实验共有3台主机，IP及角色分配如拓扑

下载地址：试验中用到mariadb软件的下载地址，http://pan.baidu.com/s/1bnnYiMr

实验拓扑：

　　　　

一、在19.66上安装MySQL及MogileFS

　　1.安装mysql：

tar xf mariadb-10.0.20-linux-x86_64.tar.gz  -C /usr/local/
cd /usr/local/
ln -sv mariadb-10.0.20-linux-x86_64 mysql
useradd -r mysql
mkdir -pv /mydata/data
chown -R mysql.mysql /mydata/data/
cd mysql/
chown -R root.mysql .
scripts/mysql_install_db --user=mysql --datadir=/mydata/data/
cp support-files/my-large.cnf /etc/my.cnf
cp support-files/mysql.server /etc/init.d/mysqld
chkconfig --add mysqld
chkconfig mysqld on

　　2.安装YAML：

wget http://search.cpan.org/CPAN/authors/id/I/IN/INGY/YAML-1.15.tar.gz
tar xf YAML-1.15.tar.gz
cd YAML-1.15
perl Makefile.PL
make && make install

　　3.使用cpan在线安装MogileFS和相关模块：

cpan
----------------------------------->
install MogileFS::Server      //后面有让输入yes的地方则输入yes并回车即可

　　　　

　　4.创建授权用户：

/usr/local/mysql/bin/mysql
------------------------------------------>
USE mysql;
UPDATE user SET Password=PASSWORD(123456) WHERE User='root';
GRANT ALL ON mogilefs.* TO 'moguser'@'192.168.19.%' IDENTIFIED BY '';
GRANT ALL ON *.* TO 'root'@'192.168.19.%' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;

　　5.初始化数据库：

mogdbsetup --dbhost=192.168.19.66 --dbrootuser=root --dbrootpass=123456 --dbuser=moguser --dbpass=123456 --yes

　　　　如果出现如下报错，则重新运行一次该命令，一般数据就可正常导入了：

　　　　

　　6.创建Tracker配置文件：

mkdir /etc/mogilefs
vim /etc/mogilefs/mogilefsd.conf
--------------------------------------------------------->
db_dsn = DBI:mysql:mogilefs:host=192.168.19.66
db_user = moguser
db_pass = 123456
conf_port = 7001
listener_jobs = 5
node_timeout = 5
rebalance_ignore_missing = 1

　　7.创建mogile用户并启动测试，查看端口，看到7001已经开始监听了。另外可以使用“pkill mogilefsd”来停止mogilefsd服务。

useradd mogile
su mogile -c "mogilefsd -c /etc/mogilefs/mogilefsd.conf --deamon"

二、在19.74和19.76上安装MogileFS

　　1.安装YAML：

wget http://search.cpan.org/CPAN/authors/id/I/IN/INGY/YAML-1.15.tar.gz
tar xf YAML-1.15.tar.gz
cd YAML-1.15
perl Makefile.PL
make && make install

　　2.使用cpan在线安装MogileFS：

cpan
-------------------------------->
install MogileFS::Server

　　3.创建Storage配置文件：

mkdir /data/mogdata -pv
useradd mogile
chown -R mogile.mogile /data/mogdata
mkdir /etc/mogilefs
vim /etc/mogilefs/mogstored.conf
----------------------------------------------------->
httplisten=192.168.19.74:            //在19.76上把地址改了即可
mgmtlisten=192.168.19.74:
docroot=/data/mogdata

　　4.启动MogileFS Storage节点，查看端口，看到7500和7501开始监听了。另外可以使用“pkill mogstored”来停止mogstored服务。

mogstored --daemon

　　　　

三、管理配置MogileFS

　　1.三台主机安装MogileFS-Utils：

cpan
-------------------------------->
install MogileFS::Utils

　　2.在Tracker上添加Storeage节点：

mogadm --trackers=192.168.19.66:7001 host add test --ip=192.168.19.74 --port=7500 --status=alive
mogadm --trackers=192.168.19.66:7001 host add tsst --ip=192.168.19.76 --port=7500 --status=alive

　　3.创建存储目录：

　　　　在19.74上：

mkdir /data/mogdata/dev1

　　　　在19.76上：

mkdir /data/mogdata/dev2

　　4.在Tracker上添加存储设备：

mogadm --trackers=192.168.19.66:7001 device add test 1
mogadm --trackers=192.168.19.66:7001 device add tsst 2
mogadm --trackers=192.168.19.66:7001 device list
mogadm --trackers=192.168.19.66:7001 check
mogadm domain add jason

　　　　

　　　　

　　5.上传文件测试：

mogupload --trackers=192.168.19.66:7001 --domain=jason --key='/fstab.html' --file='/etc/fstab'
mogfileinfo --trackers=192.168.19.66:7001 --domain=jason --key='/fstab.html'

　　　　

　　　　用浏览器打开红框内的连接，即可看到文件：

　　　　

　　　　咱们上传个图片试试：

mogupload --trackers=192.168.19.66:7001 --domain=jason --key='/centos.png' --file='/usr/share/backgrounds/default.png'
mogfileinfo --trackers=192.168.19.66:7001 --domain=jason --key='/centos.png'

　　　　

　　　　

四、扩展实验

　　上面实验可以看到，上传的文件仅在一个主机上存放，实际上应该是两个节点都存放才对。我从网上查到出错的原因可能是由于Sys::Syscall这个模块造成的。我们看到现在此模块的版本为0.25。我上网搜索其解决办法，发现如果将此软件降为0.23版本可能会修复此问题，咱们试试看：

　　　　

wget http://search.cpan.org/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz
tar xf Sys-Syscall-0.23.tar.gz
cd Sys-Syscall-0.23
perl Makefile.PL
make && make install

　　　　

　　重启mogilefsd进程，然后再上传一个文件试试：

vim /root/haha        //随便创建一个文件
---------------------------->
123
<----------------------------
mogupload --trackers=192.168.19.66:7001 --domain=jason --key='/haha.html' --file='/root/haha'
mogfileinfo --trackers=192.168.19.66:7001 --domain=jason --key='/haha.html'

　　　　

　　至此，实验全部结束。由于是第一次玩这个东西，很多操作不是很熟练，过程中也出了不少错误，希望此文章对大家能够有一些参考价值。如有问题，请联系QQ：82800452。感谢大家，谢谢！