CentOS7+rsync+sersync实现数据实时同步
一、全网数据备份方案
1、需要备份的文件目录有（原则上，只要运维人员写入或更改的数据都需要备份）。/data,/etc/rc.local,/var/spool/cron/root等，根据不同都服务器做不同的调整
2、为了规范化，每台服务器进行本地备份时都备份到/backup目录下
3、每台WEB服务器进行本地备份时，都备份到/backup目录下以本机IP地址命名的目录中
4、打的tar包中需要包含当天的日期
5、统一存储数据备份的服务器统一采用Rsync daemon 方式提供存储备份数据都目录/backup
6、由于WEB服务器本地存储空间有限，需要将超过7天的备份数据删除
7、为了方便知道每次备份是否成功，我们需要做如下操作：
（1、在每台服务器上检查备份是否成功
（2、在存储备份数据的服务器上检查备份数据是否推送成功，并发送邮件到管理员邮箱
8、因为备份服务器空间有限，需要删除超过180天的备份数据，但每周六备份的数据要永久保留
做备份服务需要的基本步骤有：
1、 在Rsync备份服务器上安装，配置Rsync服务，实现推送
2、 在客户端服务器上，实现打包，推送，删除，定时任务推送
3、 在Rsync备份服务器上，做检查，发邮件给管理员
二、搭建Rsync备份服务端
# rpm -qa rsync //查看服务是否存在
# yum install -y rsync //安装服务
# yum install -y xinetd //rsync依赖xinetd来管理
# rpm -qf `which rsync` //检查服务是否正常安装
/////修改配置文件
# cp /etc/rsyncd.conf /etc/rsyncd.conf.bak
# > /etc/rsyncd.conf
# vim /etc/rsyncd.conf //配置文件内容如下
uid = rsync
gid = rsync
address =172.16.1.15
port =873
hosts allow =172.16.1.0/24
use chroot = no
max connections = 50
pid file =/var/run/rsyncd.pid
lock file =/var/run/rsync.lock
log file =/var/log/rsyncd.log
motd file =/etc/rsyncd.motd
[backup]
path =/backup
comment = backup
read only = false
list = yes
auth users = rsyncuser
secrets file =/etc/rsyncd.passwd
# echo "Welcome to Backup Server" >/etc/rsyncd.motd //写入一个提示文件
# echo "rsyncuser:password" > /etc/rsyncd.passwd //添加用户和密码
# chmod 600 /etc/rsyncd.passwd //给于最小权限
# useradd rsync -s /sbin/nologin –M //创建备份用户
# rsync --daemon --config=/etc/rsyncd.conf //Rsync以daemon形式运行
# netstat -anptu | grep 873 //查看端口是否存在
tcp 0 0 172.16.1.15:873 0.0.0.0:* LISTEN 7115/rsync
# mkdir /backup //存放共享文件目录
# chown rsync.rsync /backup/
三、搭建Rsync备份客户端（其他客户端做类似都操作）
# rpm -qa rsync //查看服务是否存在
# yum install -y rsync //安装服务
# yum install -y xinetd //rsync依赖xinetd来管理
# rpm -qf `which rsync` //检查服务是否正常安装
# echo "password" > /etc/rsyncd.passwd //创建密码文件
# chmod 600 /etc/rsyncd.passwd
# mkdir /backup //创建要备份都目录，所有备份文件都放在这个目录下
//////rsync命令测试成功
# rsync -avz /backup/ rsyncuser@172.16.1.15::backup --password-file=/etc/rsyncd.passwd
安装seRsync
# wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar.gz
# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
# mkdir /usr/local/sersync
# mkdir /usr/local/sersync/conf
# mkdir /usr/local/sersync/logs
# mkdir /usr/local/sersync/bin
# mv GNU-Linux-x86/sersync2 /usr/local/sersync/bin/
# mv GNU-Linux-x86/confxml.xml /usr/local/sersync/conf/
# vim conf/confxml.xml
# /usr/local/sersync/bin/sersync2 -d -r -o /usr/local/sersync/conf/confxml.xml
配置文件
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="10.0.0.121" port="8008"></host> //本地IP地址
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify>
<sersync>
<localpath watch="/data/">
<remote ip="10.0.0.120" name="backup"/> ///服务端IP地址，模板名称
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
<commonParams params="-avrtuz"/> //Rsync传输方式
<auth start="true" users="rsyncuser" passwordfile="/etc/rsyncd.passwd"/> ///Rsync 用户名 密码
<userDefinedPort start="true" port="873"/><!-- port=874 --> ///端口
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
具体的参考网址为：
http://blog.51cto.com/7834466/2061125
https://www.iyunv.com/thread-300700-1-1.html
http://blog.51cto.com/nolinux/1433623
CentOS7+rsync+sersync实现数据实时同步的更多相关文章
- CentOS7下Rsync+sersync实现数据实时同步
近期公司要上线新项目,后台框架选型我选择当前较为流行的laravel,运行环境使用lnmp. 之前我这边项目tp32+apache,开发工具使用phpstorm. 新建/编辑文件通过phpstorm配 ...
- centos7服务搭建常用服务配置之二：Rsync+sersync实现数据实时同步
目录 1.RSYNC数据备份 1.1 rsync服务简介 1.2 rsync特点和优势 1.3 rysnc运行模式简介 1.4 数据同步方式 2 Rsync实验测试 2.1 实验环境说明 2.2 服务 ...
- Linux下Rsync+sersync实现数据实时同步
inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一. ...
- Rsync+sersync实现数据实时同步
前言: 一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增 ...
- 项目实战：rsync+sersync实现数据实时同步
一.组网介绍 本次实验使用两台主机: qll251 角色:Rsync server + Sersync server qll252 角色: Rsync client 本次实验采用CentOS7.7系统 ...
- rsync+sersync实现文件实时同步
前言: 一.为什么要用Rsync+sersync架构? 1.sersync是基于Inotify开发的,类似于Inotify-tools的工具 2.sersync可以记录下被监听目录中发生变化的(包括增 ...
- sersync基于rsync+inotify实现数据实时同步
一.环境描述 需求:服务器A与服务器B为主备服务模式,需要保持文件一致性,现采用sersync基于rsync+inotify实现数据实时同步 主服务器A:192.168.1.23 从服务器B:192. ...
- Linux下Rsync+Inotify-tools实现数据实时同步
Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件 ...
- CentOS 6.5 rsync+inotify实现数据实时同步备份
CentOS 6.5 rsync+inotify实现数据实时同步备份 rsync remote sync 远程同步,同步是把数据从缓冲区同步到磁盘上去的.数据在内存缓存区完成之后还没有写入到磁盘 ...
随机推荐
- iOS 中通过kvc 获取数组的均值、求和、最大最小值等
NSArray *values = @[@, @, @, @, @, @, @, @, @, @, @, @, @, @, @, @, @]; NSNumber *avg = [values valu ...
- python_推导式
列表推导式 目的:方便的生成一个列表 格式: v1 = [i for i in 可迭代对象 ] v2 = [i for i in 可迭代对象 if条件]#条件为True菜进行append v1 = [ ...
- windows 10安装mongodb数据库
简介 MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案.MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当 ...
- 03—mybatis的基本用法02
深入Mapper XML映射文件 MyBatis 的真正强大在于它的映射语句,也是它的魔力所在.由于它的异常强大,映射器的 XML 文件就显得相对简单.如果拿它跟具有相同功能的 JDBC 代码进行对比 ...
- BZOJ5206 [Jsoi2017]原力[根号分治]
这是一个三元环计数的裸题,只是多了一个颜色的区分和权值的计算罢了. 有一种根号分治的做法(by gxz) 这种复杂度的证明特别显然,思路非常简单,不过带一个log,可以用unordered_map或者 ...
- Codeforces Round #509 (Div. 2) E. Tree Reconstruction（构造）
题目链接:http://codeforces.com/contest/1041/problem/E 题意:给出n - 1对pair,构造一颗树,使得断开其中一条边,树两边的最大值为 a 和 b . 题 ...
- L1L2
https://baijiahao.baidu.com/s?id=1595711904189222402&wfr=spider&for=pc https://www.cnblogs.c ...
- Mac下Eclipse(Oxygen)添加Tomcat插件
1 查看本机Tomcat版本 ~$ sh /Library/Tomcat/bin/catalina.sh version SiegdeMacBook-Pro:bin Sieg$ sh /Library ...
- 部署Hadoop2.0高性能集群
废话不多说直接实战,部署Hadoop高性能集群: 拓扑图: 一.实验前期环境准备: 1.三台主机配置hosts文件:(复制到另外两台主机上) [root@tiandong63 ~]# more /et ...
- spring boot打包以及centos下部署
spring boot打包以及部署 一.打包 springboot的打包方式有很多种.有打成war的,有打成jar的,也有直接提交到github,通过jekins进行打包部署的.这里主要介绍如何打成j ...