sersync同步实战

sersync是基于inotify和srync的二次开发，代码托管在github上面在rsync的客户端上安装，下载地址:

https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

单点故障：没有做集群的机器，挂了一台全部的数据都丢失了。

  • 安装方式为二进制包，下载好了之后直接解压即可使用。
  • 解压之后会生成一个GNU-Linux-x86的目录，里面包含了xml格式的配置文件和启动文件
    • confxml.xml
    • sersync2

在配置文件confxml.xml中标签中表示inotify监控的事件。

编辑推送的认证、目录信息，只需要更改监控的事件(inotify标签)和推送到的目的认证(sersync标签)两个地方即可。图中标明了直接使用命令和使用sersync的对应地方。

需求:web01和web02使用nfs服务器的共享存储，从wen01上传的图片使用web02也可以访问；nfs通过sersync实时把数据同步到backup备份服务器当中.。

环境：

主机名 wan lan 角色
web01 10.0.0.7 172.16.1.7 nfs客户端
web02 10.0.0.8 172.16.1.8 nfs客户端
nfs 10.0.0.31 172.16.1.31 nfs服务端，rsync客户端，sersync
backup 10.0.0.41 172.16.1.41 rsync服务端

一、搭建rsync服务

# 1、安装rsync服务

[root@backup ~]# yum -y install rsync

# 2、修改配置文件

[root@backup ~]# vi /etc/rsyncd.conf

uid = www

gid = www

port = 873

fake super = yes

use chroot = no

max connections = 200

timeout = 600

ignore errors

read only = false

list = false

auth users = rsync_backup

secrets file = /etc/rsync.passwd

log file = /var/log/rsyncd.log

#####################################

[backup]

comment = welcome to oldboyedu backup!

path = /backup

# 3、创建www用户

[root@backup ~]# groupadd www -g 666

[root@backup ~]# useradd www -u666 -g666 -s /sbin/nologin -M

# 4、创建密码文件

[root@backup ~]# echo 'rsync_backup:123' >/etc/rsync.passwd

[root@backup ~]# chmod 600 /etc/rsync.passwd

# 5、创建上传目录

[root@backup ~]# mkdir /backup

[root@backup ~]# chown www.www /backup/

# 6、启动服务

[root@backup /backup]# systemctl start rsyncd

[root@backup /backup]# systemctl enable rsyncd

二、搭建nfs服务

# 1、安装nfs服务

[root@nfs01 ~]# yum -y install nfs-utils

# 2、修改配置文件

[root@nfs01 ~]# vi /etc/exports

/data 172.16.1.0/24(rw,sync,all_squash,anonuid=666,anongid=666)

# 3、创建uid个gid为666的用户

[root@nfs01 ~]# groupadd www -g666

[root@nfs01 ~]# useradd www -u666 -g666 -s /sbin/nologin -M

# 4、创建/data目录

[root@nfs01 ~]# mkdir /data

[root@nfs01 ~]# chown www.www /data/

# 5、启动服务

[root@nfs01 ~]# systemctl start rpcbind nfs-server

[root@nfs01 ~]# systemctl enable rpcbind nfs-server

# 6、客户端安装nfs

[root@web01 ~]# yum -y install nfs-utils

[root@web02 ~]# yum -y install nfs-utils

三、安装apache、php，挂载nfs

# 1、安装apache php

[root@web02 ~]# yum -y install httpd php

[root@web01 ~]# yum -y install httpd php

# 2、更改管理apache的配置文件

[root@web02 ~]# vi /etc/httpd/conf/httpd.conf

User www

Group www

[root@web01 ~]# vi /etc/httpd/conf/httpd.conf

User www

Group www

# 3、添加管理httpd服务的用户

[root@web02 ~]# groupadd -g666 www

[root@web02 ~]# useradd www -u666 -g666 -s /sbin/nologin -M

[root@web01 ~]# groupadd -g666 www

[root@web01 ~]# useradd www -u666 -g666 -s /sbin/nologin -M

# 4、更改网站目录

[root@web02 /var/www/html]# unzip kaoshi.zip

[root@web01 /var/www/html]# unzip kaoshi.zip

# 5、修改配置文件上传目录

[root@web02 /var/www/html]# vi upload_file.php

$wen="upload";

[root@web01 /var/www/html]# vi upload_file.php

$wen="upload";

# 6、更改目录权限

[root@web02 /var/www/html]# chown -R www.www /var/www/html/

[root@web01 /var/www/html]# chown -R www.www /var/www/html/

# 7、启动服务

[root@web01 /var/www/html]# systemctl start httpd

[root@web01 /var/www/html]# systemctl enable httpd

# 8、创建上传目录，上传的文件之后也会自动创建

[root@web02 /var/www/html]# mkdir upload

[root@web02 /var/www/html]# chown www.www upload

[root@web01 /var/www/html]# mkdir upload

[root@web01 /var/www/html]# chown www.www upload

# 9、挂载nfs共享目录

[root@web01 /var/www/html]# mount -t nfs 172.16.1.31:/data /var/www/html/upload

[root@web02 /var/www/html]# mount -t nfs 172.16.1.31:/data /var/www/html/upload

三、下载安装sersync

把backup和nfs上的内容进行实时同步

先安装 rsync和 inotify

yum -y install rsync inotify-tools

# 1、下载sersync

[root@nfs01 ~]# wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

# 2、解压安装

[root@nfs01 ~]# tar -xf sersync2.5.4_64bit_binary_stable_final.tar.gz

# 3、解压并改名

[root@nfs01 ~]# mv GNU-Linux-x86/  /usr/local/sersync

# 4、修改配置文件

[root@nfs01 ~]# vi /usr/local/sersync/confxml.xml


<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

    <host hostip="localhost" port="8008"></host>

    <debug start="false"/>

    <fileSystem xfs="false"/>

    <filter start="false">

	<exclude expression="(.*)\.svn"></exclude>

	<exclude expression="(.*)\.gz"></exclude>

	<exclude expression="^info/*"></exclude>

	<exclude expression="^static/*"></exclude>

    </filter>

    <inotify>

	<!-- inotify监控的事件，true为监控，false为不监控 -->

	<delete start="true"/>

	<createFolder start="true"/>

	<createFile start="true"/>

	<closeWrite start="true"/>

	<moveFrom start="true"/>

	<moveTo start="true"/>

	<attrib start="true"/>

	<modify start="true"/>

    </inotify>

    <sersync>

	<!-- 监控的目录和rsync服务器的IP地址，rsync的模块名称 -->

	<localpath watch="/data">

	    <remote ip="172.16.1.41" name="backup"/>

	    <!--<remote ip="192.168.8.39" name="tongbu"/>-->

	    <!--<remote ip="192.168.8.40" name="tongbu"/>-->

	</localpath>

	<rsync>

	    <!--rsync推送的选项-->

	    <commonParams params="-az"/>

	    <!--是否开启认证,认证模块的用户名,用于认证的本地密码配置文件-->

	    <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.passwd"/>

	    <userDefinedPort start="false" port="874"/><!-- port=874 -->

	    <timeout start="false" time="100"/><!-- timeout=100 -->

	    <ssh start="false"/>

	</rsync>

	<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

	<crontab start="false" schedule="600"><!--600mins-->

	    <crontabfilter start="false">

		<exclude expression="*.php"></exclude>

		<exclude expression="info/*"></exclude>

	    </crontabfilter>

	</crontab>

	<plugin start="false" name="command"/>

    </sersync>

    <plugin name="command">

	<param prefix="/bin/sh" suffix="" ignoreError="true"/>	<!--prefix /opt/tongbu/mmm.sh suffix-->

	<filter start="false">

	    <include expression="(.*)\.php"/>

	    <include expression="(.*)\.sh"/>

	</filter>

    </plugin>

    <plugin name="socket">

	<localpath watch="/opt/tongbu">

	    <deshost ip="192.168.138.20" port="8009"/>

	</localpath>

    </plugin>

    <plugin name="refreshCDN">

	<localpath watch="/data0/htdocs/cms.xoyo.com/site/">

	    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

	    <sendurl base="http://pic.xoyo.com/cms"/>

	    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

	</localpath>

    </plugin>

</head>


# 5、添加密码认证文件

[root@nfs01 ~]# echo '123' >/etc/rsync.passwd

[root@nfs01 ~]# chmod 600 /etc/rsync.passwd

# 6、启动

[root@nfs01 ~]# /usr/local/sersync/sersync2 -rdo /usr/local/sersync/confxml.xml

sersync 实时同步网站数据的更多相关文章

  1. sersync 实时同步工具

    出处:http://code.google.com/p/sersync/ 当前版本的sersync依赖于rsync进行同步.如下图所示,在同步主服务器上开启sersync,将监控路径中的文件同步到目标 ...

  2. Sersync实时同步企业应用配置实战

    一.实验环境 CentOS版本: 6.6(2.6.32.-504.el6.x86_64) Rsync版本:  Rsync-3.0.6(系统自带) Sersync版本:sersync2.5.4_64bi ...

  3. Rsync + sersync 实时同步备份

    一      Rsync + Sersync  实时同步介绍 1.Rsync 服务搭建介绍 云机上搭建Rsync server,在本地搭建Rsync Clinet. 2. Sersync 服务搭建介绍 ...

  4. 5. Sersync实时同步

    rsync+Sersync数据的实时同步 sersync介绍 1.什么是实时同步 监控一个目录的变化, 当该目录触发事件(创建\删除\修改) 就执行动作, 这个动作可以是 rsync同步 ,也可以是其 ...

  5. 5、Sersync实时同步实战

    1.实时同步概述 1.什么是实时同步, 只要当前目录发生变化则会触发一个事件,事件触发后将变化的目录同步至远程服务器. 2.为什么要实时同步, 保证数据的连续性, 减少人力维护成本, 解决nfs单点故 ...

  6. 搭建WEB、NFS共享、sersync实时同步以及全网定时备份服务流程

    本次实验的主要目的: 1.搭建web服务,使用nfs服务共享的/data目录挂载到web站点目录上. 2.nfs服务器与backup服务器使用sersync实时同步/data目录中的文件. 3.bac ...

  7. day04 sersync实时同步和ssh服务

    day04 sersync实时同步和ssh服务 sersync实时同步 1.什么是实时同步 实时同步是一种只要当前目录发生变化则会触发一个事件,事件触发后会将变化的目录同步至远程服务器. 2.为什么使 ...

  8. 使用Logstash来实时同步MySQL数据到ES

    上篇讲到了ES和Head插件的环境搭建和配置,也简单模拟了数据作测试 本篇我们来实战从MYSQL里直接同步数据 一.首先下载和你的ES对应的logstash版本,本篇我们使用的都是6.1.1 下载后使 ...

  9. vue中的watch方法 实时同步存储数据

    watch 监视模式里面有个独特的方法handler 注意要加上deep: true.deep为true时,当对象的key值改变时也监听 当值发生改变被watch监视到触发了事件 开始执行handle ...

随机推荐

  1. JDBC_03_反射机制注册驱动

    反射机制注册驱动 代码:以类加载的方式注册驱动,因为注册驱动的代码是一个静态代码块,所以用Class.forname()加载该类,静态代码块也会进行加载 import java.sql.*; publ ...

  2. Day16_90_通过反射机制获取某个特定的构造方法

    通过反射机制获取某个特定的构造方法 public class ReflectTest13 { public static void main(String[] args) throws ClassNo ...

  3. PE结构分析（二）

    在表中,我们知道了0x01 4c对应的平台结构是i386: 我们接着分析下一个字段,给出PE结构图 向后推移2个字节,现在来到(图片高亮部分): 高亮部分对应IMAGE_NT_HEADERS结构的Nu ...

  4. 如何使用natapp来实现内网穿透及案例

    1. 业务场景 当我们的项目是部署在本地的时候,如何让其他用户(不在同一个局域网之下)来进行调用呢?这时我们就可以使用内网穿透将自己的IP通过映射成相应的地址,然后再通过映射后的地址来进行访问本地的项 ...

  5. 【并发编程】ThreadLocal

    ThreadLocal Thread类中 具有一个ThreadLocal.ThreadLocalMap ,这个变量是由ThreadLocal去维护的,各个线程之间相互隔离

  6. 对c语言回调函数的理解

    对于回调函数,可以简单的理解为一种特别的函数调用方法,我们可以对比一下回调函数与普通函数在调用方法上的区别. 1. 普通函数调用 一般为实现方在其函数体执行过程中直接调用. 代码示例: #includ ...

  7. hdu 5059 判断数字表示方式以及范围合法（int型之内）

    题意:       给你一个串和两个整数a,b,问你这个串表示的数字是否合法,并且在a,b之间, 和法的要求是无论是正数还是负数都没有前导0,并且注意 -0 是不合法的. 思路:       写了将近 ...

  8. PhpMyWind储存型XSS漏洞练习（CVE-2017-12984）

    0x01 介绍 又是一款开源CMS内容管理系统PhpMyWind,在小于等于5.4版本中存在储存型XSS漏洞.如下图所示,这个就是发生储存型XSS漏洞的代码 0x02 演示 1.第一张图是客户留言时, ...

  9. Redis笔记整理

    Redis 遵守BSD协议.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库.数据结构服务器. 特点:     1.Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时 ...

  10. java之泛型的使用

    在java中,普通的类和方法只能用具体的类型,这对代码的限制很大,代码的可重用性大大降低. 那么如何才能让同一个类和方法使用不同类型的对象呢?在接触泛型之前我们可能会想到通过类型转换的方法来实现. p ...