1. sersync介绍

sersync功能：
- 实时同步；
sersync组成：
- sersync==inotify+rsync
- inotify: 监控某个目录下面"文件/目录"是否发生变化;
sersync工作原理：
- 由inotify服务监控目录，当目录/文件发生变化时触发rsync服务进行推送，完成数据同步；

2. 部署流程

参照https://www.cnblogs.com/zoe233/p/12035383.html的部署过程。
注意：部署过程中将inotify监听服务和rsync同步数据的过程的脚本/server/scripts/inotifywait_nfs_to_backup.sh

通过/etc/init.d/syncd脚本加入了chkconfig开机自启动服务，可以通过/etc/init.dsyncd [start|stop]启动或关闭服务。

为了避免冲突，将相关所有服务关闭：

chkconfig syncd off

/etc/init.d/syncd stop

2.1 安装sersync

上传sersync安装包到NFS服务端指定目录下。

一般使用rz命令上传，由于secureCRT的transfer命令在mac上出现问题，使用scp命令传输文件。

scp `pwd`/sersync_installdir_64bit.zip root@192.168.0.31:/application

在nfs-31主机上进行操作：

# 创建目录

[root@nfs-31 /]# mkdir /application -p

# 等待rz或scp上传的sersync安装压缩包

[root@nfs-31 application]# ls

sersync_installdir_64bit.zip

# uzip解压zip文件

[root@nfs-31 application]# unzip ./sersync_installdir_64bit.zip

Archive:  ./sersync_installdir_64bit.zip

   creating: sersync_installdir_64bit/

   creating: sersync_installdir_64bit/sersync/

   creating: sersync_installdir_64bit/sersync/bin/

  inflating: sersync_installdir_64bit/sersync/bin/sersync

   creating: sersync_installdir_64bit/sersync/conf/

  inflating: sersync_installdir_64bit/sersync/conf/confxml.xml

   creating: sersync_installdir_64bit/sersync/logs/

# 将sersync目录移动到/application下

[root@nfs-31 application]# ls

sersync_installdir_64bit  sersync_installdir_64bit.zip

[root@nfs-31 application]# cd sersync_installdir_64bit

[root@nfs-31 sersync_installdir_64bit]# ls

sersync

[root@nfs-31 sersync_installdir_64bit]# mv ./sersync/ /application/

[root@nfs-31 sersync_installdir_64bit]# ls

[root@nfs-31 sersync_installdir_64bit]# cd ..

[root@nfs-31 application]# ls

sersync  sersync_installdir_64bit  sersync_installdir_64bit.zip

2.2 为/application/sersync/bin下的命令增加执行权限

[root@nfs-31 bin]# ll /application/sersync/bin

total 1768

-rw-r--r-- 1 root root 1810128 Oct 26  2011 sersync

[root@nfs-31 bin]# chmod +x /application/sersync/bin/sersync

2.3 将sersync命令创建软链接到/sbin目录下

[root@nfs-31 sersync]# ln -s /application/sersync/bin/sersync /sbin/

[root@nfs-31 sbin]# ll /sbin/sersync

lrwxrwxrwx 1 root root 32 Dec 13 19:04 /sbin/sersync -> /application/sersync/bin/sersync

2.4 修改sersync配置文件（/application/sersync/conf/confxml.xml）

配置sersync之前，先单独使用rsync服务推送一次，确定rsync服务正常以及各项参数的准确。

[root@nfs-31 conf]# cat confxml.xml -n

     1  <?xml version="1.0" encoding="ISO-8859-1"?>

     2  <head version="2.5">

     3      <host hostip="localhost" port=""></host>

     4      <debug start="false"/>

     5      <fileSystem xfs="false"/>

     6      <filter start="false">  # 过滤功能。默认是false，改成true即可启动

     7          <exclude expression="(.*)\.svn"></exclude>

     8          <exclude expression="(.*)\.gz"></exclude>

     9          <exclude expression="^info/*"></exclude>

    10          <exclude expression="^static/*"></exclude>

    11      </filter>

    12      <inotify>  # 监控的事件的属性，和inotify -e 参数类似；通过修改true or false，指定事件类型

    13          <delete start="true"/>

    14          <createFolder start="true"/>

    15          <createFile start="false"/>

    16          <closeWrite start="true"/>

    17          <moveFrom start="true"/>

    18          <moveTo start="true"/>

    19          <attrib start="false"/>

    20          <modify start="false"/>

    21      </inotify>

    22

    23      <sersync>  # 同步的部分

    24          <localpath watch="/opt/tongbu">   # 同步的源，目录

    25              <remote ip="127.0.0.1" name="tongbu1"/>   # ip是推送的机器的ip，name是rsync推送指定的模块

    26              <!--<remote ip="192.168.8.39" name="tongbu"/>-->

    27              <!--<remote ip="192.168.8.40" name="tongbu"/>-->

    28          </localpath>

    29          <rsync>  # rsync命令的各个参数

    30              <commonParams params="-artuz"/>  # 参数选项

    31              <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>   # 连接用户和用户的指定密码文件

    32              <userDefinedPort start="false" port=""/><!-- port=874 -->  # 是否指定端口，false使用默认端口873

    33              <timeout start="false" time=""/><!-- timeout=100 -->  # 超时设置

    34              <ssh start="false"/>

    35          </rsync>

    36          <failLog path="/tmp/rsync_fail_log.sh" timeToExecute=""/> # 失败日志
<!--default every 60mins execute once-->

    37          <crontab start="false" schedule=""><!--600mins-->  # 每600分钟重传

    38              <crontabfilter start="false">  # 定时任务排除

    39                  <exclude expression="*.php"></exclude>

    40                  <exclude expression="info/*"></exclude>

    41              </crontabfilter>

    42          </crontab>

    43          <plugin start="false" name="command"/>

    44      </sersync>

    45

    46      <plugin name="command">

    47          <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->

    48          <filter start="false">

    49              <include expression="(.*)\.php"/>

    50              <include expression="(.*)\.sh"/>

    51          </filter>

    52      </plugin>

    53

    54      <plugin name="socket">

    55          <localpath watch="/opt/tongbu">

    56              <deshost ip="192.168.138.20" port=""/>

    57          </localpath>

    58      </plugin>

    59      <plugin name="refreshCDN">

    60          <localpath watch="/data0/htdocs/cms.xoyo.com/site/">

    61              <cdninfo domainname="ccms.chinacache.com" port="" username="xxxx" passwd="xxxx"/>

    62              <sendurl base="http://pic.xoyo.com/cms"/>

    63              <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

    64          </localpath>

    65      </plugin>

    66  </head>

修改相应配置：

    22

    23      <sersync>  # 同步的部分

    24          <localpath watch="/data">   # 同步的源，目录

    25              <remote ip="192.168.0.41" name="nfsbackup"/>   # ip是推送的机器的ip，name是rsync推送指定的模块

    28          </localpath>

    29          <rsync>  # rsync命令的各个参数

    30              <commonParams params="-az"/>  # 参数选项

    31              <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.password"/>   # 连接用户和用户的指定密码文件

    32              <userDefinedPort start="false" port=""/><!-- port=874 -->  # 是否指定端口，false使用默认端口873

    33              <timeout start="true" time=""/><!-- timeout=100 -->  # 超时设置

    34              <ssh start="false"/>

    35          </rsync>

    36          <failLog path="/tmp/rsync_fail_log.sh" timeToExecute=""/> # 失败日志

2.5 启动sersync服务

sersync命令参数说明：

[root@nfs-31 ~]# sersync -h

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches  # 调整了监控文件的数量和事件的数量

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

_______________________________________________________

参数-d:启用守护进程模式

参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍

c参数-n: 指定开启守护线程的数量，默认为10个

参数-o:指定配置文件，默认使用confxml.xml文件

参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块

参数-m:单独启用其他模块，使用 -m socket 开启socket模块

参数-m:单独启用其他模块，使用 -m http 开启http模块

不加-m参数，则默认执行同步程序

______________________________________________________________

服务启动后，将过程文件中rsync服务命令粘贴出来单独执行一遍，检验配置文件信息是否填写正确。

[root@nfs-31 ~]# sersync -rdo /application/sersync/conf/confxml.xml

set the system param

execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches

execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events

parse the command param

option: -r      rsync all the local files to the remote servers before the sersync work

option: -d      run as a daemon

option: -o      config xml name：  /application/sersync/conf/confxml.xml

daemon thread num: 10

parse xml config file

host ip : localhost     host port: 8008

daemon start，sersync run behind the console

use rsync password-file :

user is rsync_backup

passwordfile is         /etc/rsync.password

config xml parse success

please set /etc/rsyncd.conf max connections=0 Manually

sersync working thread 12  = 1(primary thread) + 1(fail retry thread) + 10(daemon sub threads)

Max threads numbers is: 22 = 12(Thread pool nums) + 10(Sub threads)

please according your cpu ，use -n param to adjust the cpu rate

------------------------------------------

rsync the directory recursivly to the remote servers once

working please wait...

execute command: cd /data && rsync -az -R --delete ./  --timeout=100 rsync_backup@192.168.0.41::nfsbackup --password-file=/etc/rsync.password >/dev/null 2>&1

run the sersync:

watch path is: /data

2.6 查看sersync状态

[root@nfs-31 ~]# ps -ef|grep sersync|grep -v grep

root     20924     1  0 21:33 ?        00:00:00 sersync -rdo /application/sersync/conf/confxml.xml

2.7 开机自启动sersync服务

[root@nfs-31 ~]# tail -2 /etc/rc.local

# sersync start onboot sersync -rdo /application/sersync/conf/confxml.xml

注意：sersync服务的开机自启动和inotify的开机自启动最好不要冲突，只选其一。

【集群实战】sersync的更多相关文章

redis3.0 集群实战1 -- 安装和配置
本文主要是在centos7上安装和配置redis集群实战参考: http://hot66hot.iteye.com/blog/2050676 集群教程: http://redisdoc.com/to ...
《跟老男孩学Linux运维：Web集群实战》读书笔记
Linux 介绍 Linux 安装 Linux 调优 Web 基础 Nginx 应用 LNMP 应用 PHP 缓存加速 Nginx 调优 MySQL 应用 NFS 网络文件共享 Nginx 反向代理与 ...
MySQL/MariaDB数据库的Galera高可用性集群实战
MySQL/MariaDB数据库的Galera高可用性集群实战作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Galera Cluster概述 1>.什么是Gale ...
Haproxy+keepalived高可用集群实战
1.1 Haproxy+keepalived高可用集群实战随着互联网火热的发展,开源负载均衡器的大量的应用,企业主流软件负载均衡如LVS.Haproxy.Nginx等,各方面性能不亚于硬件负载均衡 ...
基于Ambari Server部署HDP集群实战案例
基于Ambari Server部署HDP集群实战案例作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.部署Ambari Server端博主推荐阅读: https://www.c ...
【集群实战】Rsync数据同步工具
1. Rsync介绍 1.1 什么是Rsync? Rsync是一款开源的,快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具.Rsync软件适用于unix/linux/windows ...
高负载集群实战之lvs负载均衡-技术流ken
lvs简介 LVS的英文全称是Linux Virtual Server,即Linux虚拟服务器. 特点跨平台:window,linux 作用实现负载均衡核心组件 ip_vs:linux的内核功能 ...
Mongodb 集群实战
该实战过程完全跟着官网一步一步实现 ,官网教程:https://docs.mongodb.com/manual/tutorial/atlas-free-tier-setup/ 使用Mongo Shel ...
activemq的高级特性：集群实战
高级特性实战需求当消费端是多个集群,集群A又包含多个服务. 当每个集群都要接受相同的一批消息,而集群内的每个服务都去分摊消息. 解决办法一:级联增加一个中转者.但是不是特别的优化,而且性能也不是特 ...
进阶的Redis之哈希分片原理与集群实战
前面介绍了<进阶的Redis之数据持久化RDB与AOF>和<进阶的Redis之Sentinel原理及实战>,这次来了解下Redis的集群功能,以及其中哈希分片原理. 集群分片模 ...

随机推荐

PTA数据结构与算法题目集(中文) 7-29
PTA数据结构与算法题目集(中文) 7-29 7-29 修理牧场 (25 分) 农夫要修理牧场的一段栅栏,他测量了栅栏,发现需要N块木头,每块木头长度为整数Li个长度单位,于是他购买了一条 ...
3D城市
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" ...
selenium 鼠标滑动操作验证码
selenium 鼠标点击操作比较简单,这里就不介绍了,主要说一下鼠标滑动(按住并滑动),经常用于解决自动化操作的滑动验证码下面举个简单的例子,比如这种验证码: 代码: div = driver.f ...
uni_app商城项目（完成）
总结: 1.uni-app的跨段适配性,真的特别强,完成相关代码的书写,HbuilderX编辑器提供的打包十分方便. 2.开发小程序,H5等移动端开发, 比开发电脑端简单不少,但有时候坑也挺多的. 3 ...
路由与交换，cisco路由器配置，动态路由协议—RIP
一.动态路由协议分类动态路由协议包括IGP(内部网关协议)和EGP(外部网关协议). 1.IGP IGP又包括距离向量路由协议和链路状态路由协议. (1)距离向量路由协议典型代表:RIP (2)链路 ...
2017蓝桥杯承压计算（C++ B组）
标题:承压计算X星球的高科技实验室中整齐地堆放着某批珍贵金属原料.每块金属原料的外形.尺寸完全一致,但重量不同.金属材料被严格地堆放成金字塔形. ...
HBase协处理器加载的三种方式
本文主要给大家罗列了HBase协处理器加载的三种方式:Shell加载(动态).Api加载(动态).配置文件加载(静态).其中静态加载方式需要重启HBase. 我们假设我们已经有一个现成的需要加载的协处 ...
多线程设置flag标志位实现同步
信号灯解决同步问题我尽量注释了代码,可以很容易理解了. package Thread; /** * 信号灯 * 借助标志位 */ public class FlagThread { public s ...
android29之UI控件的抽屉式实现方法之一(DrawerLayout和NavigationView)
添加依赖 implementation 'com.google.android.material:material:1.2.0-alpha06' 在Layout中创建两个Xml布局文件,header. ...
Floyd-例题-实现-我的第一篇博客
https://www.cnblogs.com/lbssxz/p/11014911.html 这是网上看到的题目,以上是原博主的解答和题目来源(没找到别的题目来源) 题目大意: 城市交通费 [问题描述 ...

【集群实战】sersync