Linux学习-利用inotify和rsync实现数据的实时同步

一、inotify简介

1、inotify介绍

　异步的文件系统事件监控机制，利用事件驱动机制，而无须通过诸如cron等的 轮询机制来获取事件，linux内核从2.6.13起支持 inotify，通过inotify可以监控文 件系统中添加、删除，修改、移动等各种事件

2、实现inotify的软件

　inotify-tools，sersync，lrsyncd

3、查看内核是否支持inotify

　Linux下支持inotify的内核最小为2.6.13，使用uname -r 可查看内核版本

　使用 ls /proc/sys/fs/inotify/  查看，如果列出下面的文件，则说明服务器内核支持inotify

　　max_queued_events：inotify事件队列最大长度，如值太小会出现 Event Queue Overflow 错误，默认值: 16384

　　max_user_watches：可以监视的文件数量(单进程)，默认值: 8192

　　max_user_instances:每个用户创建inotify实例最大值，默认值: 128

二、同步实现方法

1、基本方案

　inotify  对同步数据目录信息的监控

　rsync  完成对数据的同步

　利用脚本进行结合

2、软件包

　inotify-tools  (epel源)

　包主要文件：

　　inotifywait：在被监控的文件或目录上等待特定文件系统事件(open closedelete等)发生，常用于实时同步的目录监控
　　inotifywatch：收集被监控的文件系统使用的统计数据，指文件系统事件发生的次数统计

3、相关命令

　1. inotifywait

　　常用选项：
　　　-m, --monitor　　始终保持事件监听
　　　-d, --daemon　　以守护进程方式执行，和-m相似，配合-o使用
　　　-r, --recursive　　递归监控目录数据信息变化
　　　-q, --quiet　　输出少量事件信息
　　　--exclude <pattern>　　 指定排除文件或目录，使用扩展的正则表达式匹配的模式实现
　　　--excludei <pattern>　　和exclude相似，不区分大小写
　　　-o, --outfile  <file>　　打印事件到文件中，相当于标准正确输出
　　　-s, --syslogOutput 　　发送错误到syslog相当于标准错误输出
　　　--timefmt <fmt>　　指定时间输出格式
　　　--format <fmt>　　指定的输出格式;即实际监控输出内容
　　　-e 　　指定监听指定的事件，如果省略，表示所有事件都进行监听

　　　--timefmt <fmt>  时间格式，参考 man 3 strftime  例如：--timefmt "%Y-%m-%d %H:%M"

　　　　%Y　　年份信息，包含世纪信息
　　　　%y 　　年份信息，不包括世纪信息
　　　　%m 　　显示月份，范围 01-12
　　　　%d 　　每月的第几天，范围是 01-31
　　　　%H 　　小时信息，使用 24小时制，范围 00-23
　　　　%M 　　分钟，范围 00-59

　　　--format <fmt> 格式定义，例如 --format "%T %w%f event: %;e"  与  --format '%T %w %f'

　　　　%T 输出时间格式中定义的时间格式信息，通过 --timefmt option 语法格式指定时间信息
　　　　%w 事件出现时，监控文件或目录的名称信息
　　　　%f 事件出现时，将显示监控目录下触发事件的文件或目录信息，否则为空
　　　　%e 显示发生的事件信息，不同的事件默认用逗号分隔
　　　　%Xe显示发生的事件信息，不同的事件指定用X进行分隔

　　　-e 选项指定的事件类型，例如： -e create,delete,moved_to,close_write, attrib

　　　　create　　文件或目录创建
　　　　delete　　文件或目录被删除
　　　　modify　　文件或目录内容被写入
　　　　attrib　　文件或目录属性改变
　　　　close_write　　文件或目录关闭，在写入模式打开之后关闭的
　　　　close_nowrite　　文件或目录关闭，在只读模式打开之后关闭的
　　　　close　　文件或目录关闭，不管读或是写模式
　　　　open　　文件或目录被打开
　　　　moved_to　　文件或目录被移动到监控的目录中
　　　　moved_from　　文件或目录从监控的目录中被移动
　　　　move　　文件或目录不管移动到或是移出监控目录都触发事件
　　　　access　　文件或目录内容被读取
　　　　delete_self　　文件或目录被删除，目录本身被删除
　　　　unmount　　取消挂载

　　相关示例

　　　监控一次性事件
　　　　inotifywait /data
　　　持续监控
　　　　inotifywait -mrq /data
　　　持续后台监控，并记录日志
　　　　inotifywait -o /root/inotify.log -drq /data --timefmt "%Y-%m-%d %H:%M" --format "%T %w%f event: %e"
　　　持续后台监控特定事件
　　　　inotifywait -mrq /data --timefmt "%F %H:%M" --format "%T %w%f event: %;e" -e create,delete,moved_to,close_write,attrib

　2. rsync　基于ssh和rsh服务实现高效率的远程系统之间复制文件，使用安全的shell连接做为传输方式

　　常用选项

　　　-n 模拟复制过程
　　　-v 显示详细过程
　　　-r 递归复制目录树
　　　-p 保留权限
　　　-t 保留时间戳
　　　-g 保留组信息
　　　-o 保留所有者信息
　　　-l 将软链接文件本身进行复制(默认)
　　　-L 将软链接文件指向的文件复制
　　　-a 存档，相当于–rlptgoD，但不保留ACL(-A)和SELinux属性(-X)
　　　-z 传输时进行压缩提高效率
　　　--delete 以SRC为主，对DEST进行同步。多则删之，少则补之
　　　--exclude 指定排除规则来排除不需要传输的文件

　　相关示例

　　　　rsync -av /etc server1:/tmp　　复制目录和目录下文件
　　　　rsync -av /etc/ server1:/tmp　  只复制目录下文件

三、实现步骤

　系统：CentOS7.6，服务器端(192.168.214.17)，客户端(192.168.214.27)，实现将客户端数据同步至服务器端

　1. 服务器端安装inotify-tools软件包，基于epel源安装，rsync包，基本光盘yum源

[root@centos7 ~]# cat /etc/yum.repos.d/base.repo
[development]
name=dvdbase repo
baseurl=file:///mnt/cdrom/
enabled=
gpgcheck=
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-CentOS-7

[aliyunEpel]
name=aliyun epel
baseurl=https://mirrors.aliyun.com/epel/$releasever/$basearch
enabled=
gpgcheck=
gpgkey=https://mirrors.aliyun.com/epel/RPM-GPG-KEY-EPEL-$releasever

yum源

[root@centos7 ~]# yum install -y inotify-tools rsync

　2. 服务器端生成验证文件

[root@centos7 ~]# echo "rsyncuser:centos" > /etc/rsync.pass
[root@centos7 ~]# chmod  /etc/rsync.pass 

　3. 服务器端准备要备份的目录

[root@centos7 ~]# mkdir /data

　4. 服务器端修改rsync的配置文件

[root@centos7 ~]# vim /etc/rsyncd.conf
uid = root
gid = root
use chroot = no
max connections =
ignore errors
exclude = lost+found/
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
reverse lookup = no
hosts allow = 192.168.214.0/    #允许访问的主机
[backup]  #要同步的项目，与下文同步时的backup对应
path = /data/
comment = backup
read only = no
auth users = rsyncuser
secrets file = /etc/rsync.pass

　5. 服务器端启动rsync服务

[root@centos7 ~]# systemctl start rsyncd　　#CentOS7
#或 rsync --daemon 可加入/etc/rc.d/rc.local实现开机启动

　6. 客户端配置密码文件

[root@centos7- ~]# echo "centos" > /etc/rsync.pass
[root@centos7- ~]# chmod  /etc/rsync.pass

　7. 客户端测试同步数据 rsync -avz --password-file=/etc/rsync.pass /data/ rsyncuser@rsync服务器IP::/data

[root@centos7- ~]# cd /data
[root@centos7- data]# ls
[root@centos7- data]# touch b.txt
[root@centos7- data]# ll
total
-rw-r--r--  root root  Dec  : b.txt
#将本地目录同步至远程目录
[root@centos7- data]# rsync -avz --password-file=/etc/rsync.pass /data/ rsyncuser@192.168.214.17::backup

#服务器端查看
[root@centos7 data]# ll #可以看到同步过来了
total
-rw-r--r--  root root  Dec  : b.txt

　8. 客户端创建inotify_rsync.sh脚本，然后后台运行即可

[root@centos7- ~]# cat inotify_rsync.sh
#!/bin/bash

SRC='/data/'  #本地文件夹
DEST='rsyncuser@192.168.214.17::backup'    # rsyncuser@rsync服务器IP::backup'
LOG='/var/log/changelist.log'  #日志输出

inotifywait -mrq --timefmt '%Y-%m-%d %H:%M' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} | while read DATE TIME DIR FILE;do

   FILEPATH=${DIR}${FILE}

   rsync -az --delete --password-file=/etc/rsync.pass $SRC $DEST && echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> ${LOG}

done