Rsync + Sersync 实现数据增量同步

一、什么是Rsync？

　　Rsync（Remote Synchronize）是一款开源的、快速的、多功能的、可以实现全量及增量的本地或远程数据同步备份的优秀工具，并且支持多种操作系统平台运行。

　　官网文档：https://rsync.samba.org/ftp/rsync/rsync.html

二、Rsync简介

　　1、Rsync具有本地与远程两台主机之间的数据快速复制同步镜像、远程备份等功能，该功能类似scp，但是优于scp功能，还具有本地不同分区目录之间全量及增量复制数据。

　　2、Rsync同步数据镜像时，通过“quick check”算法，仅同步大小或最后修改时间发生变化的文件或目录，当然也可以根据权限，属主等属性变化的同步，所以可以实现快速同步。

　　3、rsync 具有如下的基本特性：

　　　　a、可以镜像保存整个目录树和文件系统

　　　　b、可以很容易做到保持原来文件的权限、时间、软硬链接等

　　　　c、无须特殊权限即可安装

　　　　d、优化的流程，文件传输效率高

　　　　e、可以使用 rsh、ssh 方式来传输文件，当然也可以通过直接的 socket 连接

　　　　f、支持匿名传输，以方便进行网站镜象

三、Rsync命令格式

　　1、本地:  rsync [OPTION...] SRC... [DEST]

　　2、通过shell远程访问:

　　　　 拉取: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

　　　　 推送: rsync [OPTION...] SRC... [USER@]HOST:DEST

　　3、通过rsync守护进程访问:

　　　　 拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

　　　　　　rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

　　　　 推送: rsync [OPTION...] SRC... [USER@]HOST::DEST

　　　　　　rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

四、什么Sersync？

　　1、sersync是基于inotify开发的，类似于inotify-tools的工具，Sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或者某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的文件或者目录，因此效率更高。

　　2、主要应用场景为数据体积大，并且文件很多。

　　3、网站：https://code.google.com（需要FQ）

五、测试环境

　　主机1：192.168.30.41　　操作系统：Centos7.5　　角色:sync server

　　主机2：192.168.30.42　　操作系统：Centos7.5　　角色:sync client，sersync 端

六、主机1编译安装Rsync

　　1、首先卸载本机rsync

　　　　yum remove -y rsync

　　2、下载软件并上传(需FQ)

　　　　wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz

　　3、解压包并编译

　　　　mkdir -p /application/rsync

　　　　tar -zxvf /application/rsync-3.1.3.tar.gz

　　　　cd /application/rsync-3.1.3

　　　　./configure --prefix=/application/sync

　　　　make && make install

　　　　rm -rf  /application/rsync-3.1.3.tar.gz   /application/rsync-3.1.3

　　4、配置环境变量和建立软连接

　　　　vim /etc/profile.d/rsync.sh 添加　　

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/rsync/bin

　　　　ln -s /application/rsync/bin/rsync /usr/local/bin/

　　5.查看当前版本

　　　　 rsync --version

　　6、创建相应文件夹

　　　　mkdir -p /application/rsync/{conf,data,logs,passwd}

　　7、编辑相应配置文件

　　　　a、vim /application/rsync/conf/rsyncd.conf 添加如下内容

uid = rsync
gid = rsync
port = 873
use chroot = on
max connections = 200
timeout = 120
pid file = /application/rsync/logs/rsyncd.pid
lock file = /application/rsync/logs/rsyncd.lock
log file = /application/rsync/logs/rsyncd.log

[bakup]
ignore errors
path = /application/rsync/data
read only = false
list = false
#hosts allow = all
#host deny = 0.0.0.0/32
auth users = rsync_bakup
secrets file = /application/rsync/passwd/rsyncd.password

　　　　b、创建密码文件

　　　　　　echo "rsync_bakup:123456"  /application/rsync/passwd/rsyncd.password   #密码文件中格式为 账号:密码，账号为配置文件中对应模块的auth users项中的账号。

　　　　c、修改密码文件权限

　　　　　　chmod 600 /application/rsync/passwd/rsyncd.password

　　　　d、修改数据目录文件权限

　　　　　　chown rsync:rsync /application/rsync/data

　　8、启动服务

　　　　/application/rsync/bin/rsync --daemon --config /application/rsync/conf/rsyncd.conf

　　　　查看服务是否启动

　　　　

七、主机2安装rsync客户端

　　1、yum install -y rsync即可

　　2、编辑密码文件并给相应的权限

　　　　echo "123456" /etc/rsyncd.password　　#文件中写入链接rsync server账号rsync_bakup的密码即可。

　　　　chmod 600 /etc/rsyncd.password

　　3、向服务端推送数据

　　　　touch test.txt  #文件所有用户需要有读权限才可以推送

　　　　rsync -avzP test.txt  rsync_bakup@192.168.30.41::bakup --password-file=/etc/rsyncd.password

　　4、从服务端拉取数据

　　　　rsync -avzP rsync_bakup@192.168.30.41::bakup  /tmp --password-file=/etc/rsyncd.password

八、主机2安装Sersync

　　1、下载

　　　　wget  https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz

　　2、解压并将对应文件拷贝至对应文件夹

　　　　mkdir -p /application/sersync/{bin,conf,logs}

　　　　tar zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

　　　　mv  GNU-Linux-x86/sersync2 /application/sersync/bin

　　　　mv  GNU-Linux-x86/confxml.xml  /application/sersync/conf

　　3、配置环境变量

　　　　vim  /etc/profile.d/sersync.sh

　　　　添加内容

　　　　　　#!/bin/sh
　　　　　　export PATH=$PATH:/application/sersync/bin

　　　　source /etc/profile.d/sersync.sh

　　4、备份配置文件然后修改

　　　　cp /application/sersync/conf/confxml.xml  /application/sersync/conf/confxml.xmlbk

　　　　vim  /application/sersync/conf/confxml.xml修改成如下内容

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
   # 设置本地IP和端口
    <host hostip="localhost" port="8008"></host>
   # 开启DUBUG模式
    <debug start="false"/>
   # 开启xfs文件系统
    <fileSystem xfs="false"/>
   # 同步时忽略推送的文件(正则表达式),默认关闭
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
  # 设置要监控的事件
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="false"/>
    <modify start="false"/>
    </inotify>

    <sersync>
  # 本地监视目录路径
    <localpath watch="/application/rsync/data">
  #定义同步Server ip和模块
        <remote ip="192.168.30.41" name="bakup"/>
    </localpath>
    <rsync>
  # rsync指令参数
        <commonParams params="-artuz"/>
  # rsync同步认证
        <auth start="true" users="rsync_bakup" passwordfile="/etc/rsyncd.password"/>
  # 设置rsync远程服务端口，非默认端口需要打开自定义(若开启rsync+ssh, 则这里需定义SSH端口)
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
  # 设置超时时间
        <timeout start="false" time="100"/><!-- timeout=100 -->
  # 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书
        <ssh start="false"/>
    </rsync>
  # sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。
    <failLog path="/application/sersync/logs/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
  # 设置rsync定时传输，默认关闭
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
  # 设置sersync传输后调用name指定的插件脚本，默认关闭
    <plugin start="false" name="command"/>
    </sersync>

  # 插件脚本范例
    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>    <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

  # 插件脚本范例
    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>

　　5、启动

　　　　/application/sersync/bin/sersync2 -d -r -o /application/sersync/conf/confxml.xml

　　6、测试

　　　　cd /application/rsync/data

　　　　for f in `seq 10`;do touch $f;done

　　　　完成后查看服务端对应模块路径下是否有相应文件，若同步表示成功。