inotify+rsync实现实时同步部署

1.1.架构规划

1.1.1架构规划准备

服务器系统	角色	IP
Centos6.7 x86_64	NFS服务器端（NFS-server-inotify-tools）	192.168.1.14
Centos6.7 x86_64	rsync服务器端(rsync热备服务器)	192.168.1.17

1.1.2架构图

2.1 部署前检查

2.1.1 检查rsync热备服务器daemon是否起来

 [root@backup data]# lsof -i:873

 COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME

 rsync   3071 root    3u  IPv4  18684      0t0  TCP *:rsync (LISTEN)

 rsync   3071 root    5u  IPv6  18685      0t0  TCP *:rsync (LISTEN)

 [root@backup data]# ps -ef|grep rsync|grep -v grep

 root      3071     1  0 Dec02 ?        00:00:00 rsync --daemon

 [root@backup data]#

2.1.2 NFS服务器相对于rsync服务器来说是客户端，所以要配置一个客户端密码

 [root@nfs-server ~]# echo "zhurui" >>/etc/rsync.password

 [root@nfs-server ~]# cat /etc/rsync.password

 zhurui

 [root@nfs-server ~]# chmod 600 /etc/rsync.password

 [root@nfs-server ~]# ll /etc/rsync.password

 -rw-------. 1 root root 7 Jan 31 00:49 /etc/rsync.password

 [root@nfs-server ~]#

2.1.3 NFS客户端手动推/data/目录下数据到rsync热备服务器/backup目录下

 [root@nfs-server data]# showmount -e localhost ##检查共享目录

 Export list for localhost:

 /data 192.168.1.0/24

 [root@nfs-server ~]# cd /data/

 [root@nfs-server data]# ll

 total 12

 -rw-r--r--. 1 nfsnobody nfsnobody    0 Jan 30 03:05 beautiful.txt

 -rw-r--r--. 1 nfsnobody nfsnobody    9 Jan 30 04:33 f11.txt

 -rw-r--r--. 1 root      root         0 Jan 30 04:41 fs.txt

 drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Jan 30 03:05 huang

 -rw-r--r--. 1 nfsnobody nfsnobody    0 Jan 30 03:17 reew.txt

 -rw-r--r--. 1 root      root         0 Jan 30 02:51 test1.txt

 -rw-r--r--. 1 nfsnobody nfsnobody    0 Jan 30 04:41 wd.txt

 drwxr-xr-x. 2 nfsnobody nfsnobody 4096 Jan 30 02:57 zhurui

 -rw-r--r--. 1 nfsnobody nfsnobody    0 Jan 30 02:47 zhurui1.txt

 -rw-r--r--. 1 nfsnobody root         0 Jan 30 02:10 zhurui.txt

 [root@nfs-server /]# rsync -avz /data/ rsync_backup@192.168.1.17::backup/ --password-file=/etc/rsync.password   ##推送数据命令

 sending incremental file list

 ./

 beautiful.txt

 f11.txt

 fs.txt

 reew.txt

 test1.txt

 wd.txt

 zhurui.txt

 zhurui1.txt

 huang/

 zhurui/

 sent 572 bytes  received 171 bytes  114.31 bytes/sec

 total size is 9  speedup is 0.01

 [root@nfs-server /]#

2.1.4 rsync服务器端检查/backup目录下数据

3.1 服务部署

3.1.1 NFS服务端安装inotify工具

inofity-tools下载地址：http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

1）查看当前系统是否支持inotify

 [root@nfs-server tools]# uname -r   ##内核版本，从kernel2.6.13开始支持

 2.6.32-573.el6.x86_64

 [root@nfs-server tools]# ls -l /proc/sys/fs/inotify/  ##查看是否支持

 total 0

 -rw-r--r-- 1 root root 0 Jan 31 01:34 max_queued_events

 -rw-r--r-- 1 root root 0 Jan 31 01:34 max_user_instances

 -rw-r--r-- 1 root root 0 Jan 31 01:34 max_user_watches

 ##显示当前三个文件表示支持

2）下载inotify源码包

 [root@nfs-server tools]# ll

 total 352

 -rw-r--r--. 1 root root 358772 Mar 14  2010 inotify-tools-3.14.tar.gz

3）编译安装inotify

 [root@nfs-server tools]# tar zxf inotify-tools-3.14.tar.gz

 [root@nfs-server tools]# cd inotify-tools-3.14

 [root@nfs-server inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify-tools-3.14

 [root@nfs-server inotify-tools-3.14]# make&&make install

 [root@nfs-server inotify-tools-3.14]# ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify-tools  ##创建软链接

 [root@nfs-server inotify-tools-3.14]# cd ..

 [root@nfs-server local]# ll

 total 44

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 bin

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 etc

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 games

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 include

 lrwxrwxrwx. 1 root root   30 Jan 31 01:58 inotify-tools -> /usr/local/inotify-tools-3.14/

 drwxr-xr-x. 6 root root 4096 Jan 31 01:55 inotify-tools-3.14

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 lib

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 lib64

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 libexec

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 sbin

 drwxr-xr-x. 5 root root 4096 Nov 25 02:40 share

 drwxr-xr-x. 2 root root 4096 Sep 23  2011 src

 [root@nfs-server local]# cd inotify-tools

 [root@nfs-server inotify-tools]# ll

 total 16

提示编译成功后会生成4个目录，分别是：

 [root@nfs-server /]# cd /usr/local/inotify-tools

 [root@nfs-server inotify-tools]# ll

 total 16

 drwxr-xr-x. 2 root root 4096 Jan 31 01:55 bin    ##inotify执行命令(二进制)

 drwxr-xr-x. 3 root root 4096 Jan 31 01:55 include   ##inotify程序所需用的头文件

 drwxr-xr-x. 2 root root 4096 Jan 31 01:55 lib  ##动态链接的库文件

 drwxr-xr-x. 4 root root 4096 Jan 31 01:55 share  ##帮助文档

工具集合介绍：

一共安装了2个工具(命令)，即inotifywait和inotifywatch

inotifywait:在被监控的文件或目录上等待特定文件系统事件(open、close、delete等)发生，执行后处于阻塞状态，适合在shell脚本中使用。

inotifywatch:收集被监视的文件系统使用度统计数据，指定文件系统事件发生的次数统计。

4）inotify命令常用参数详解

 [root@nfs-server inotify-tools]# ./bin/inotifywait --help

 inotifywait 3.14

 Wait for a particular event on a file or set of files.

 Usage: inotifywait [ options ] file1 [ file2 ] [ file3 ] [ ... ]

 Options:

  -r|--recursive  Watch directories recursively.  ##递归查询目录

  -q|--quiet      Print less (only print events)   ##打印很少的信息，仅仅打印监控相关的信息

 -m|--monitor    Keep listening for events forever.  Without

                         this option, inotifywait will exit after one

                         event is received.   ##始终保持事件监听状态

 --excludei <pattern>

                         Like --exclude but case insensitive.   ##排除文件或目录时，不区分大小写

 --timefmt <fmt> strftime-compatible format string for use with

                         %T in --format string.   ##指定时间的输出格式

5）测试监控事件

开启两个窗口

1.测试create

 第一步：

 [root@nfs-server inotify-tools]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data  ##实行当前命令后，界面处于阻塞状态，只有在另外一个客户端测试时，才会显示监控状态

 31/01/16 10:23 /data/ceshi.txt

 31/01/16 10:24 /data/what

 31/01/16 10:27 /data/a

 31/01/16 10:27 /data/b

 31/01/16 10:27 /data/c

 31/01/16 10:27 /data/d

 31/01/16 10:27 /data/e

 31/01/16 10:27 /data/f

 第二步：

 克隆一个NFS客户端切换到/data目录下，新建ceshi.txt、what文件，观察监控的变化

 [root@nfs-server data]# touch ceshi.txt

 [root@nfs-server data]# mkdir /who

 [root@nfs-server data]# touch what

 [root@nfs-server data]#

 [root@nfs-server data]# touch {a..f}

2、测试delete

 [root@nfs-server inotify-tools]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete /data   ##监控/data目录删除时间

 监控如下：

 31/01/16 10:31 /data/reew.txt

 31/01/16 10:31 /data/test1.txt

 [root@nfs-server data]# rm -f reew.txt test1.txt   ##删除这两个文件

 [root@nfs-server data]#

3、同时测试create、delete

 第一步：

 [root@nfs-server inotify-tools]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete,create /data

 监控输出信息：

 31/01/16 10:35 /data/hero.sh

 31/01/16 10:35 /data/a

 31/01/16 10:35 /data/f

 31/01/16 10:36 /data/b

 31/01/16 10:36 /data/c

 31/01/16 10:36 /data/d

 31/01/16 10:36 /data/e

 第二步：

 [root@nfs-server data]# touch hero.sh

 [root@nfs-server data]# ll

 [root@nfs-server data]# rm -f [a..f]

 [root@nfs-server data]# rm -f {a..f}

 [root@nfs-server data]#

一般工作中使用到：[root@nfs-server inotify-tools]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete,create,close_write /data

工作环境中通过脚本实时同步：

 #!/bin/bash

 inotify=/usr/local/inotify-tools/bin/inotifywait

 $inotify -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete,create,close_write /data

  \

 |while read file

 do

   cd / &&

   rsync -az /data --delete rsync_backup@192.168.1.17::backup \

   --password-file=/etc/rsync.password

 done

测试：

 脚本属于开启状态：

 [root@nfs-server scripts]# sh -x inotify.sh

 + inotify=/usr/local/inotify-tools/bin/inotifywait

 + read file

 + /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete,create,close_write /data

 + cd /

 + rsync -az /data --delete rsync_backup@192.168.1.17::backup --password-file=/etc/rsync.password

 + read file

 + cd /

 + rsync -az /data --delete rsync_backup@192.168.1.17::backup --password

 接着在NFS客户端/data目录下创建文件

 [root@nfs-server data]# touch {a..z}

 [root@nfs-server data]# echo i am best >a  ##修改a中的内容，查看热备服务器是否同步

 rsync热备服务器端显示如下：

 [root@backup //]# cd /backup/

 [root@backup backup]# cd data/

 [root@backup data]# ll

 total 0

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 a

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 b

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 c

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 d

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 e

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 f

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 g

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 h

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 i

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 j

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 k

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 l

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 m

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 n

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 o

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 p

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 q

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 r

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 s

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 t

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 u

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 v

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 w

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 x

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 y

 -rw-r--r--. 1 rsync rsync 0 Mar  4  2016 z

 [root@backup data]# cat a

 i am best   ##显示已经实时同步过来

 [root@backup data]#

6）优化

 [root@nfs-server scripts]# echo "50000000" >/proc/sys/fs/inotify/max_user_watches

 [root@nfs-server scripts]# echo "50000000" >/proc/sys/fs/inotify/max_queued_events

结论：经过测试，每秒200个文件并发，数据同步几乎无延迟(小于1秒)

inotify+rsync实现实时同步部署的更多相关文章

【转】inotify+rsync实现实时同步
[转]inotify+rsync实现实时同步 1.1 什么是实时同步:如何实现实时同步要利用监控服务(inotify),监控同步数据服务器目录中信息的变化发现目录中数据产生变化,就利用rsync服 ...
inotify+rsync实现实时同步
第1章数据实时同步介绍 1.1 什么是实时同步:如何实现实时同步 A. 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 B. 发现目录中数据产生变化,就利用rsync服务推送到 ...
inotify +rsync进行实时同步
1.安装rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpmyum -y install ino ...
inotify+rsync实现实时同步并邮件通知
服务器之间文件实时同步,监控文件的变化,发送邮件通知,并实时同步文件. 由于人工同步多台服务器的文件比较吃力,可以借助这样一套软件,自动化的实现这样的工作. 并且可以事实监控变化发送邮件给系统管理人员 ...
inotify+rsync文件实时同步
原文转自http://dl528888.blog.51cto.com/2382721/771533/ 之前做了“ssh信任与scp自动传输脚本”的技术文档,此方案是作为公司里备份的方法,但在实际的运行 ...
lsyncd替代inotify+rsync实现实时同步
因公司业务需要需要实时同步日志文件,刚一开始使用的是inotify+rsync来实现实时同步,但时间久而久之发现同步的速度越来越慢,往往延迟好几个小时.查了一下网上的inotify+rsync方案基本 ...
inotify+rsync目录实时同步
两台linux服务器系统CentOS7 一台Apache IP:192.168.155.130(发布文件服务器,也可以叫rsync客户端) 一台nginx IP:192.168.155.131(同步镜 ...
inotify+rsync实现实时同步(附解决crontab中无法执行python脚本的问题）
1.准备环境 # 系统支持的话,下面的目录就会存在 ls /proc/sys/fs/inotify/ rpm -qa inotify-tools yum -y install inotify-tool ...
inotify+rsync文件实时同步报错：usr/local/bin/inotifywait: error while loading shared libraries: libinotifytools.so.0:
解决办法: ln -sv /usr/local/lib/libinotify* /usr/lib/ /usr/lib64/libinotifytools.so.

随机推荐

Redis学习手册(目录)
为什么自己当初要选择Redis作为数据存储解决方案中的一员呢?现在能想到的原因主要有三.其一,Redis不仅性能高效,而且完全免费.其二,是基于C/C++开发的服务器,这里应该有一定的感情因素吧.最后 ...
tornado template
若果使用Tornado进行web开发可能会用到模板功能,页面继承,嵌套... 多页应用模板的处理多半依赖后端(SPA就可以动态加载局部视图),就算是RESTfull的API设计,也不妨碍同时提供部分模 ...
Web中的XHRHttpRequest
1.提出者:Jesse James Garrett 2.IE中,XHR是通过ActiveX对象实现的.涉及浏览器的兼容性写法. 3.使用 <1>open("请求方式&qu ...
java笔记--理解java类加载器以及ClassLoader类
类加载器概述: java类的加载是由虚拟机来完成的,虚拟机把描述类的Class文件加载到内存,并对数据进行校验,解析和初始化,最终形成能被java虚拟机直接使用的java类型,这就是虚拟机的类加载机制 ...
ubuntu 入门
ubuntu 系统设置不全sudo apt-get install ubuntu-desktop uget aria2:下载工具http://www.xitongzhijia.net/xtjc/201 ...
JVM之内存结构
JVM是按照运行时数据的存储结构来划分内存结构的.JVM在运行Java程序时,将他们划分成不同格式的数据,分别存储在不同的区域,这些数据就是运行时数据.运行时数据区域包括堆,方法区,运行时常量池,程序 ...
【挖财工作笔记】idea使用指南
一安装破解破解选择服务器,然后选择地址:http://www.iteblog.com/idea/key.php http://idea.iteblog.com/key.php http://i ...
python爬虫成长之路（一）：抓取证券之星的股票数据
获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一.鉴于此,我拾起了Python这把利器,开启了网络爬虫之路. 本篇使用的版本为python3.5,意在抓取证券之星上当天所 ...
每天一个设计模式-3 适配器模式（Adapteer）
每天一个设计模式-3 适配器模式(Adapteer) 1.现实中的情况旧式电脑的硬盘是串口的,直接与硬盘连接,新硬盘是并口的,显然新硬盘不能直接连在电脑上,于是就有了转接线.好了,今天的学习主题出来 ...
GJM : Unity3D HIAR -【快速入门】七、使用本地识别包
使用本地识别包本文将向您介绍如何在 Unity 工程中使用本地识别包. Step 1.下载本地识别包前往 HiAR 管理后台,上传您需要识别的图片并下载识别包,您可以获得一个 unitypacka ...

inotify+rsync实现实时同步部署

inotify+rsync实现实时同步部署的更多相关文章

随机推荐

热门专题