Linux实时同步
实时同步
一、概述
背景:
- 以前，通过rsync+定时任务实现对文件的定时备份/同步
- 现在，对于NFS来说，需要进行实时同步
选择：
- 分布式存储
- 使用实时同步服务+NFS
- 选择公有云对象存储OSS，七牛云存储，腾讯存储COS
- NFS+实现同步工具
- inotify：是个命令，监控指定目录是否发生变化（有缺陷，不推荐使用）
- sersync：国产开源，内置inotify+rsync命令
- lsyncd
二、Sersync原理
三、Sersync同步架构
四、上手指南
1.rsync服务准备
1.1 rsync服务端
[root@backup ~]# cat /etc/rsyncd.conf
[nfsbackup]
comment = "nfs备份文件夹"
path = /nfsbackup
[root@backup ~]# mkdir -p /nfsbackup
[root@backup ~]# chown -R rsync.rsync /nfsbackup/
[root@backup ~]# ll -d /nfsbackup/
drwxr-xr-x 2 rsync rsync 48 Jan 13 11:19 /nfsbackup/
1.2 rsync客户端
#客户端测试，客户端记得创建密码文件并授予权限600
[root@nfs ~]# rsync -az /etc/hostname rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.client
#服务端查看
[root@backup ~]# ll /nfsbackup/
total 4
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:39 1.txt
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:41 2.txt
-rw-r--r-- 1 rsync rsync 4 Jan 9 11:11 hostname
2.Sersync部署
2.1 部署
#部署在nfs上，因为要监控他的目录
#sersync软件包链接：https://pan.baidu.com/s/1avBKUdGMP2TKqw2GOPsSsw 提取码：hi4x
#目录规划：
命令放在：/app/tools/sersync/bin/
配置文件放在:/app/tools/sersync/conf/
#上传软件包到家目录
#查看上传的软件包
[root@nfs ~]# ll
total 712
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#解压上传的软件包
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# ll
total 712
drwxr-xr-x 2 root root 41 Oct 26 2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#创建目录
[root@nfs ~]# mkdir -p /app/tools/sersync/{bin,conf}
#移动命令和配置文件到规划好的目录里
[root@nfs ~]# mv GNU-Linux-x86/sersync2 /app/tools/sersync/bin
[root@nfs ~]# mv GNU-Linux-x86/confxml.xml /app/tools/sersync/conf/
#查看是否移动成功
[root@nfs ~]# tree -F /app/tools/
/app/tools/
└── sersync/
├── bin/
│ └── sersync2*
└── conf/
├── confxml.xml*
└── confxml.xml.bak*
3 directories, 3 files
2.2 启动服务
#给命令创建软链接
[root@nfs ~]# ln -s /app/tools/sersync/bin/sersync2 /bin/
#查看命令的参数
[root@nfs ~]# /app/tools/sersync/bin/sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
#启动进程
[root@nfs ~]# sersync2 -rdo /app/tools/sersync/conf/confxml.xml
#查看进程是否启动
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
#开机自启，记得给执行权限
[root@nfs ~]# ll -d /etc/rc.d/rc.local
-rw-r--r--. 1 root root 473 Oct 2 2020 /etc/rc.d/rc.local
[root@nfs ~]# chmod +x /etc/rc.d/rc.local
注意事项：
同一个配置文件只能存在1个进程，否则会出现异常
如果要监控多个目录，复制多个配置文件，启动多个服务
2.3 关闭服务
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
[root@nfs ~]# kill 1468 #也可以执行 pkill sersync
2.4 配置文件详解
[root@nfs ~]# cat /app/tools/sersync/conf/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
#通过的时候排除什么，默认关闭。false关闭，true开启
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
#配置inotify监控规则，通过事件
<inotify>
<delete start="true"/> #监控是否有删除
<createFolder start="true"/> #监控是否有创建目录
<createFile start="false"/> #监控是否创建文件
<closeWrite start="true"/> #是否有closeWrite事件，修改后的退出（文件被修改）
<moveFrom start="true"/> #移动，改名
<moveTo start="true"/> #移动，改名
<attrib start="false"/> #文件属性变化
<modify start="false"/> #文件内容修改
</inotify>
<sersync>
#监控的目录变化
<localpath watch="/opt/tongbu"> #监控哪些目录，一般为存储共享目录
<remote ip="127.0.0.1" name="tongbu1"/> #rsync服务端的ip地址和rsync服务端的模块名称
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
#配置rsync客户端的命令
<rsync>
<commonParams params="-artuz"/> #命令行选项，-az 默认加--delete
<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
#auth start 是否开启免密模式，一般为yes，认证用户，客户端密码文件
<userDefinedPort start="false" port="874"/><!-- port=874 --> #rsync服务端口，这里关闭，默认873
<timeout start="false" time="100"/><!-- timeout=100 --> #超时时间
<ssh start="false"/>
</rsync>
#日志
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
3.NFS配置
#服务端
[root@nfs ~]# cat /etc/exports
/data/ 172.16.1.0/24(rw)
#客户端
[root@web01 ~]# mount -t nfs 172.16.1.31:/data/ /upload/
Linux实时同步的更多相关文章
- linux 实时同步inotify
#实时同步inotify 1.inotify简介inotify是一种强大的,细腻度的,异步的文件系统事件监控机制,linux内核从2.6.13起,加入了inotify支持,通过INOTIFY可以监控文 ...
- Linux下Rsync+sersync实现数据实时同步
inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一. ...
- Linux 下配置多机实时同步
没钱的时候,用此方案做网站内容的负载均衡.异地备份,经济实惠又方便(仅针对网站文件做实时同步,如果数据库,则考虑mysql的多主架构) 一.机器配置及机房IP A机,位于杭州,IP: 115.33.2 ...
- linux系统中rsync+inotify实现服务器之间文件实时同步
最近需要对服务器上的文件实施动态备份,我又不想每次都手动来进行备份,在网上找了挺多资料,发现使用rsync就可以实现,如果想要实现实时同步,还可以使用rsync+inotify组合,本文就是以组合方式 ...
- linux下两台服务器文件实时同步方案设计和实现
inux下两台服务器文件实时同步方案设计和实现 假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /o ...
- linux rsync实时同步
rsync同步 同步与复制的差异:复制:完全拷贝源到目标同步:增量拷贝,只传输变化过的数据 同步操作:remote sync 远程同步支持本地复制,或与其他ssh,rsync主机同步.官方网站:htt ...
- Linux下Rsync+Inotify-tools实现数据实时同步
Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件 ...
- Linux服务器间文件实时同步的实现
使用场景 现有服务器A和服务器B,如果服务器A的指定目录(例如 /home/paul/rsync/ )中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如 /home/ ...
- linux下两台服务器文件实时同步方案实现-乾颐堂
假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /opt/bak/test/ 实现的目的就是保持这两 ...
- linux设置rsync+inotify实时同步文件
linux设置rsync+inotify实时同步文件 应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...
随机推荐
- Ajax(下)
跨域 跨域的概念:非同源请求,均为跨域.如果两个页面拥有相同的协议(protocol),端口(port)和主机(host),那么这两个页面就属于同一个源(origin). 例如:主机:http://w ...
- cookie中 防止重复存值 （可用于历史记录等）
function makeCookie($key,$val){ // 查看cookie中是否已经存过键为history_ids if(Cookie::has($key)){ // 已经存过了 $jso ...
- kubernetes_CoreDNS全解析
一.前言 kubernetes CoreDNS 是 kube-system 命令空间里面的一个Pod,用于域名解析. kubernetes自带三个命名空间(用kubeadm安装的Kubernetes集 ...
- HDLBits答案——Getting started
Getting started 1 Step one module top_module( output one ); // Insert your code here assign one = 1' ...
- Training: ASCII
题目链接:http://www.wechall.net/challenge/training/encodings/ascii/index.php 让我们使用标准的美国信息交换编码格式解下面的ASCLL ...
- NOI2011真题：兔兔与蛋蛋游戏
NOI2011真题:兔兔与蛋蛋游戏 题目描述 这些天,兔兔和蛋蛋喜欢上了一种新的棋类游戏. 这个游戏是在一个 n行 m 列的棋盘上进行的.游戏开始之前,棋盘上有一个格子是空的,其它的格子中都放置了一枚 ...
- virtual继承和不继承
用virtual修饰的虚函数,用来继承重写,没有virtual修饰的,取决于父类 定义 父类 *x=new 子类 首先父类不能调用子类的函数,自能调用本身的函数,所以,只有两种情况,1.无virtua ...
- 微服务---Dubbo+Zookeeper
dubboAdmin客户端 --监控 && 启动 Zookeeper 客户端 --注册中心 生产者: <?xml version="1.0" encoding ...
- 【Java SE】Day08 String类、static关键字、Arrays类、Math类
一.String类 1.概述 所有双引号字符串,都是String类的对象 字符串常量,会存在字符串常量池中 2.创建 构造函数--空构造.字符数组.字节(byte ASCII码)数组 3.常用方法-- ...
- python装饰器初级
global与nonlocal 1.global的作用: 可以在局部空间里直接就该全局名称工具中的数据 代码展示: name = 'moon' #设置了一个全局变量 def fucn(): name ...