inotify+rsync的组合使用简单介绍

inotify简介：

inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统添加、删除、修改、移动等各种事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools正是实施这样监控的软件。国人周洋在金山公司开发的sersync。

inotify实际是一种事件驱动机制，它为应用程序监控文件系统事件提供了实时响应事件的机制，而无须通知诸如cron等的伦旭机制来获取事件。cron等机制不仅无法做到实时性，而且消耗大量系统资源。相比之下，inotify基于事件驱动，可以做到对事件的实时响应，也没有轮询造成的系统资源消耗，是非常自然的事件通知接口，也与自然世界的事件机制相符合。

　　rsync(remote sync)远程同步工具，通过rsync可以实现对远程服务器数据的增量备份同步，但rsync自身也有瓶颈，同步数据时，rsync采用核心算法对远程服务器的目标文件进行比对，只进行差异同步。我们可以想象一下，如果服务器的文件数量达到了百万甚至千万量级，那么文件对比将是非常耗时的。而且发生变化的往往是其中很少的一部分，这是非常低效的方式。inotify的出现，可以缓解rsync的不足之处，取长补短。

案例：（测试数据）

实时热备服务器 192.168.43.200

netserver-inotify服务器 192.168.43.117

---------------------------------------------------------------------------------------------------------------

在实时热备服务器上配置：

rsync-server服务端配置：截图略，详细配置见 https://www.cnblogs.com/su-root/p/10086190.html

①vi /etc/rsyncd.conf  添加如下代码↓↓↓↓↓↓

#Rsync server

#created by bqh 21:30 2018-12-05
#rsyncd.conf start
uid = rsync                                   //客户端连备份服务器具备rsync的用户权限
gid = rsync                                   //客户端连备份服务器具备rsync的用户权限 
use chroot = no                            //程序出现bug会定向为一个空目录，安全方面。
max connections = 2000            //客户端连接数。一般设置大于连接数。
timeout = 600                             //设置客户端连接超时600秒，超时剔除。
pid file = /var/run/rsyncd.pid       //pid进程号
lock file = /var/run/rsync.lock     //锁文件
log file = /var/log/rsyncd.log      //rsync日志文件
ignore errors                            //忽略错误
read only = false                     //只读，true为可读写
list = false                                                   //可以远程列表
hosts allow = 192.168.43.0/24                 //允许什么网段访问
hosts deny = 0.0.0.0/32                            //一般局域网不用，公网可能用，但一般用vpn
auth users = rsync_backup                       //认证用户名，远程连接的用户。
secrets file = /etc/rsync.password             //存放用户和密码的文件，远程用户的密码
#####################################
[backup]                                                   //共享模块调用path服务
comment = backup server by bqhboy 21:40 2018-12-05
path = /backup                                        //共享目录地址

②创建一个虚拟用户：

useradd rysnc –s /sbin/nologin –M

③创建共享目录及属主:
mkdir /backup

chown –R rsync /backup

④给虚拟用户名设置密码并存放文件中: 
echo “rsync_backup:123” >/etc/rsync.password

⑤给服务端虚拟用户密码文件设置权限：
chmod 600 /etc/rsync.password

⑥启动服务：rsync --daemon

查看服务：ss -lntup|grep rsync 
                netstat -lntup|grep rsync
                ps -ef|grep rsync|grep -v grep
                lsof -i :873

⑦加入开机自启动：

echo "rsync --daemon" >>/etc/rc.local
cat /etc/rc.local

在netserver-inotify服务器 （客户端） 上配置rsync如下：

[root@nfs-server ~]# echo 123 >/etc/rsync.password

[root@nfs-server ~]# cat /etc/rsync.password

123

[root@nfs-server ~]# chmod 600 /etc/rsync.password

[root@nfs-server ~]# ll /etc/rsync.password

-rw------- 1 root root 4 12月 10 21:53 /etc/rsync.password

在客户端测试一下是否配置成功：将客户端/data目录下所有文件推送到服务端/backup/目录下

[root@nfs-server ~]# ll /data/

总用量 0

-rw-r--r-- 1 nfsnobody nfsnobody 0 12月  3 21:49 118.txt

-rw-r--r-- 1 nfsnobody nfsnobody 0 12月  2 17:47 c.txt

[root@nfs-server ~]# rsync -avz /data rsync_backup@192.168.43.200::backup --password-file=

/etc/rsync.password

sending incremental file list

data/

data/118.txt

data/c.txt

sent 172 bytes  received 50 bytes  444.00 bytes/sec

total size is 0  speedup is 0.00

[root@nfs-server ~]#

此时我们再热备服务端查看是否推送过来了：

接下来我们yum安装inotify-tools

ll /proc/sys/fs/inotify/   如果该目录有下面三个文件代表系统支持inotify，Linux内核版本为2.6.13开始支持inotify。

max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）

max_user_instances:设置每个用户可以运行的inotifywait或inotifywatch命令的进程数。

max_queued_events：设置inotify实例事件（event）队列可容纳的事件数量。

安装inotify

yuminstall inotify-tools -y

一共安装了两个工具（命令），即inotifywait和inotifywatch

inotifywait：在被监控的文件或目录上等待特定文件系统事件（open、close、delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用。

inotifywatch：收集被监视的文件系统使用度统计数据，指文件系统事件发生的次数统一。

ll /usr/bin/inotifywait或inotifywatch

inotifywait 用法：

实时监控/data的所有事件（包括文件的访问，写入，修改，删除等）

inotifywait -rm --timefmt '%y/%m/%d %H:%M' --format '%T %w %e %f' /data/

我们执行上面的命令后，再打开一个窗口在/data目录下搞点事情如下：

此时我们发现窗口已监控到搞的事情：

我们可以写一个脚本监控/data/目录变化（增量）情况，并推送至备份服务器上：

#!/bin/bash

inotify=/usr/bin/inotifywait

$inotify -rm --timefmt '%y/%m/%d %H:%M' --format '%T %w %e %f' /data \

|while read file

do

cd / &&

rsync -az ./data rsync_backup@192.168.43.200::backup/ \

--password-file=/etc/rsync.password

done

我们再打开一个窗口搞点测试事情：

我们再从热备服务器上查看一下是否推送过来了：

脚本我们可以从后台启动并添加到开机启动项里：

echo "/bin/sh /server/scripts/backup.sh &" >> /etc/rc.local   //& 表示从后台开始运行该条命令。

inotifywatch 用法：

统计（60s内）/data目录下文件系统的事件

inotifywatch -v -e access -e modify -t 60 -r /data

我们再打开一个窗口搞点事情如下：

关于inotifywait参数说明：

-h,–help
输出帮助信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile 
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-m, –monitor
接收到一个事情而不退出，无限期地执行。默认的行为是接收到一个事情后立即退出。
-d, –daemon
跟–monitor一样，除了是在后台运行，需要指定–outfile把事情输出到一个文件。也意味着使用了–syslog。
-o, –outfile 
输出事情到一个文件而不是标准输出。
-s, –syslog
输出错误信息到系统日志
-r, –recursive
监视一个目录下的所有子目录。
-q, –quiet
指定一次，不会输出详细信息，指定二次，除了致命错误，不会输出任何信息。
–exclude 
正则匹配需要排除的文件，大小写敏感。
–excludei 
正则匹配需要排除的文件，忽略大小写。
-t , –timeout 
设置超时时间，如果为0，则无限期地执行下去。
-e , –event 
指定监视的事件。
-c, –csv
输出csv格式。
–timefmt 
指定时间格式，用于–format选项中的%T格式。
–format 
指定输出格式。
%w 表示发生事件的目录
%f 表示发生事件的文件
%e 表示发生的事件
%Xe 事件以“X”分隔
%T 使用由–timefmt定义的时间格式

关于inotifywatch参数说明：

-h, –help
输出帮助信息
-v, –verbose
输出详细信息
@
排除不需要监视的文件，可以是相对路径，也可以是绝对路径。
–fromfile 
从文件读取需要监视的文件或排除的文件，一个文件一行，排除的文件以@开头。
-z, –zero
输出表格的行和列，即使元素为空
–exclude 
正则匹配需要排除的文件，大小写敏感。
–excludei 
正则匹配需要排除的文件，忽略大小写。
-r, –recursive
监视一个目录下的所有子目录。
-t , –timeout 
设置超时时间
-e , –event 
只监听指定的事件。
-a , –ascending 
以指定事件升序排列。
-d , –descending 
以指定事件降序排列。

可监听事件：

在/proc/sys/fs/inotify目录下有三个文件，对inotify机制有一定的限制，根据场景需要优化：

max_user_watches:设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）
max_user_instances:设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
max_queued_events:设置inotify实例事件（event）队列可容纳的事件数量。

inotify优点：

1.监控文件系统事件变化，通过同步工具实现实时数据同步。

inotify缺点：

1.并发如果大于200个文件（10-100k），同步就会有延迟。

2.监控到事件后，调用rsync同步是单进程的，而sersync为多进程同步。

高并发数据实时同步方案：

1.inotify(sersync)+rsync  文件级别

2.drbd  文件系统级别

3.第三方软件同步功能：mysql、oracle等同步功能

4.程序双写