sersync+rsync进行数据同步
一:环境
操作系统环境:redhat6.6
内核版本:2.6.32-358.el6.x86_64
rsync server:192.168.2.3(部署rsync server)
rsync client:192.168.2.4(部署sersync)
特别说明:
我之前用rsync进行生产环境数据的同步,由于目录下每日会有上千个文件生成,所以目录本身就比较大,用rsync的进行无差异同步的时候发现就扫描目录的文件就需要很长时间,同步效率有些低,后面用inotify+rsync进行数据同步,有个问题是:inotify监控目录文件变化的时候,在我们要对生产系统进行开启或关闭的时候,由于目录占用问题导致开启或关闭生产组件会出现进程没关闭的显示,但是实际上是关闭了的,由于检查进程的时候发现目录被占用了;所以今天用sersync进行数据同步的时候发现速度快了好多,所以留个笔记以后方便查看。
二:sersync部署
1、下载sersync安装包
链接:https://pan.baidu.com/s/1kHQSVEODxbtXpxxMnT1S2A
提取码:9q4m
2、解压安装包
[root@rsync_client tools]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@rsync_client tools]# mv GNU-Linux-x86 /usr/local/sersync
3、备份原配置文件
[root@rsync_client ~]# cd /usr/local/sersync/
[root@rsync_client sersync]# cp confxml.xml confxml.xml.ori
4、部署rsync server详细参数解释请看https://www.cnblogs.com/zhangweiyi/p/10571152.html
1 [root@rsync_server ~]# cat /etc/rsyncd.conf
2 uid = rsync
3 gid = rsync
4 use chroot = no
5 max connections = 200
6 timeout = 300
7 pid file = /var/run/rsyncd.pid
8 lock file = /var/run/rsync.lock
9 log file = /var/log/rsyncd.log
10 ignore errors
11 read only = false
12 list = false
13 hosts allow = 192.168.2.0/24
14 hosts deny = 0.0.0.0/32
15 auth users = sam
16 secrets file = /etc/rsync.password
17 [test]
18 path = /tmp/
5、配置rsync密码文件
[root@rsync_server ~]# cat /etc/rsync.password
sam:test123
[root@rsync_server ~]#
[root@rsync_server ~]# ll /etc/rsync* # 查看文件权限是否为600
-rw------- 1 root root 364 Nov 30 08:29 /etc/rsyncd.conf-rw------- 1 root root 13 Nov 21 09:59 /etc/rsync.password
6、启动rsync
[root@rsync_server ~]# rsync --daemon
[root@rsync_server ~]# lsof -i :873
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
rsync 1206 root 3u IPv4 11197 0t0 TCP *:rsync (LISTEN)
rsync 1206 root 5u IPv6 11198 0t0 TCP *:rsync (LISTEN)
三:部署sersync
1、首先创建rsync server端的密码验证文件
[root@rsync_client ~]# cat /etc/rsync.password
test123
[root@rsync_client ~]# ll /etc/rsync.password # 确保文件权限为600
-rw-------. 1 root root 7 11月 26 19:53 /etc/rsync.password
2、部署sersync
[root@rsync_client tools]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@rsync_client tools]# mv GNU-Linux-x86 /usr/local/sersync
[root@rsync_client sersync]# cp confxml.xml confxml.xml.ori
[root@rsync_client sersync]#
3、修改config.xml文件只修改我注释了的即可
1 [root@rsync_client sersync]# cat confxml.xml
2 <?xml version="1.0" encoding="ISO-8859-1"?>
3 <head version="2.5">
4 <host hostip="localhost" port="8008"></host>
5 <debug start="false"/>
6 <fileSystem xfs="false"/>
7 <filter start="false">
8 <exclude expression="(.*)\.svn"></exclude>
9 <exclude expression="(.*)\.gz"></exclude>
10 <exclude expression="^info/*"></exclude>
11 <exclude expression="^static/*"></exclude>
12 </filter>
13 <inotify>
14 <delete start="true"/>
15 <createFolder start="true"/>
16 <createFile start="true"/> # 修改此项为true
17 <closeWrite start="true"/>
18 <moveFrom start="true"/>
19 <moveTo start="true"/>
20 <attrib start="false"/>
21 <modify start="false"/>
22 </inotify>
23
24 <sersync>
25 <localpath watch="/tmp/"> # 监控的目录
26 <remote ip="192.168.2.4" name="test"/> # 需要把监控的目录数据同步到rsync server指定的模块下,前面写了server的模块名是test对应的目录是:/tmp/
27 <!--<remote ip="192.168.8.39" name="tongbu"/>-->
28 <!--<remote ip="192.168.8.40" name="tongbu"/>-->
29 </localpath>
30 <rsync>
31 <commonParams params="-artuz"/>
32 <auth start="true" users="sam" passwordfile="/etc/rsync.password"/> # 指定rsync的虚拟用户和密码文件路径
33 <userDefinedPort start="false" port="874"/><!-- port=874 -->
34 <timeout start="false" time="100"/><!-- timeout=100 -->
35 <ssh start="false"/>
36 </rsync>
37 <failLog path="/var/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once--> # 把日志文件的路径改到/var/log/下
38 <crontab start="false" schedule="600"><!--600mins-->
39 <crontabfilter start="false">
40 <exclude expression="*.php"></exclude>
41 <exclude expression="info/*"></exclude>
42 </crontabfilter>
43 </crontab>
44 <plugin start="false" name="command"/>
45 </sersync>
46
47 <plugin name="command">
48 <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
49 <filter start="false">
50 <include expression="(.*)\.php"/>
51 <include expression="(.*)\.sh"/>
52 </filter>
53 </plugin>
54
55 <plugin name="socket">
56 <localpath watch="/opt/tongbu">
57 <deshost ip="192.168.138.20" port="8009"/>
58 </localpath>
59 </plugin>
60 <plugin name="refreshCDN">
61 <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
62 <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
63 <sendurl base="http://pic.xoyo.com/cms"/>
64 <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
65 </localpath>
66 </plugin>
67 </head>
4、启动sersync
[root@rsync_client ~]# /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/confxml.xml
[root@rsync_client ~]# ps -ef | grep -v "grep" | grep sersync
root 24590 1 0 19:46 ? 00:00:00 /usr/local/sersync/sersync2 -d -r -o /usr/local/sersync/confxml.xml
5、测试是否正常
在/tmp目录下创建几个文件看看目标端192.168.2.3(rsync server)是否已经收到
在/tmp目录下删除几个文件看看目标端192.168.2.3(rsync server)是否也不存在
以上两者满足说明部署成功!
sersync+rsync进行数据同步的更多相关文章
- sersync+rsync实时数据同步
sersync+rsync实时数据同步 1.相关背景介绍 前面有关文章配置实现了rsync增量同步以及配置为定时同步,但是在实际生产环境中需要实时的监控数据从而进行同步(不间断同步),可以采取inot ...
- 【linux运维】rsync+inotify与sersync+rsync实时数据同步笔记
Rsync(remote sync)远程同步工具,通过rsync可以实现对远程服务器数据的增量备份通过,但rsync自身也有缺陷,同步数据时,rsync采用核心算法对远程服务器的目标文件进行对比,只进 ...
- CentOS 7 Sersync+Rsync 实现数据文件实时同步
rsync+inotify-tools与rsync+sersync架构的区别? 1.rsync+inotify-tools inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪 ...
- Linux系统备份还原工具4(rsync/远程数据同步工具)
rsync即是能备份系统也是数据同步的工具. 在Jenkins上可以使用rsync结合SSH的免密登录做数据同步和分发.这样一来可以达到部署全命令化,不需要依赖任何插件去实现. 命令参考:http:/ ...
- rsync 远程数据同步工具详解
rysnc 命令用法:(OPTION-参数,USER-用户,HOST-IP地址,SRC-复制源位置,DEST-复制目标位置)Shell拉:rsync [OPTION] [USER@]HOST:SRC ...
- Sersync+Rsync实现数据文件实时同步
rsync+inotify-tools与rsync+sersync架构的区别1,rsync+inotify-tools只能记录下被监听的目录发生的变化(增删改)并没有把具体变化的文件或目录记录下来在同 ...
- rsync + sersync 实现实时数据同步
一.环境: 主机1:youzhuan-bak centos 7.2 主机2:youzhuan-online centos 7.2 二.部署过程: youzhuan-bak : [root@ ...
- rsync实现数据同步
希望两台机器指定目录的数据保持一致 192.168.19.252(master) 192.168.19.251(slave) /cache 拉复制 ...
- sersync+rsync做实时同步
(1).实验环境 源主机:youxi1 192.168.5.101 目的主机:youxi2 192.168.5.102 目的:实时同步数据 sersync默认端口874,rsync默认端口873 (2 ...
随机推荐
- BUAA 2020 软件工程 个人博客作业
BUAA 2020 软件工程 个人博客作业 Author: 17373051 郭骏 项目 内容 这个作业属于哪个课程 2020春季计算机学院软件工程(罗杰 任健) 这个作业的要求在哪里 个人博客作业 ...
- es7集群的搭建
es7集群的搭建 一.需求 二.前置条件 三.搭建步骤 1.下载es 2.创建 `es` 用户并给es目录授权 3.修改es的配置文件 4.es01目录下 elasticsearch.yml 的一个完 ...
- Charles的简单用法
Charles的简单用法 一.抓电脑上 http 包 二.显示请求的 Request 和 Response 三.抓取电脑上 https 包 1.安装根证书 2.在钥匙串中启用根证书 3.配置哪些需要抓 ...
- 零基础如何更好的学习Linux
本节旨在介绍对于初学者如何学习 Linux 的建议.如果你已经确定对 Linux 产生了兴趣,那么接下来我们介绍一下学习 Linux 的方法. 如何去学习 学习大多类似庖丁解牛,对事物的认识一般都是由 ...
- C++类的静态成员变量与静态成员函数
1.类的静态成员变量 C++类的静态成员变量主要有以下特性: 1.静态成员变量需要类内定义,类外初始化 2.静态成员变量不依赖于类,静态成员变量属于全局区,不属于类的空间. 3.静态成员变量通过类名访 ...
- lvs 四层负载相关
都打开 /etc/sysctl.conf 中的 net.ip4.ip_forward=1.开启路由转发功能. 分发器 : eth0:192.168.1.66 (VIP) eth1:192.168.2. ...
- Docker+nginx搭建tomcat集群
1.环境准备: a.宿主机CentOS7 b.连接工具FinalShell c.镜像nginx1.20.1,tomcat (镜像拉取:docker pull 镜像名称) 2.创建nginx文件夹,to ...
- ES6-字符串-模板字符串(复习+学习)
昨天学习了字符串对象和字符串的表示,就是利用utf-8等不同的编码方式,还有许多的对象方法,都是处理字符串的方法,挺方便的,今天我学习了一下字符串模板,这里记录i一下学习的笔记,当然,今天学习了部分内 ...
- 如何系统学习C 语言(下)之 预处理命令篇
大话c语言(下)之 预处理命令篇 预处理就是在编译之前,通过一些预处理命令对源代码进行管理和控制的过程. 由源代码得到可执行的程序,会经过预处理.编译.汇编和链接几个过程 预处理命令大致可以分为文件包 ...
- Databend 社区积极拥抱 Rust 生态(202111回顾)
Databend 旨在成为一个 开源.弹性.可靠 的无服务器数仓,查询快如闪电,与 弹性.简单.低成本 的云服务有机结合.数据云的构建,从未如此简单! Databend 对 Rust 社区的意义 Da ...