Linux实时同步
实时同步
一、概述
背景:
- 以前，通过rsync+定时任务实现对文件的定时备份/同步
- 现在，对于NFS来说，需要进行实时同步
选择：
- 分布式存储
- 使用实时同步服务+NFS
- 选择公有云对象存储OSS，七牛云存储，腾讯存储COS
- NFS+实现同步工具
- inotify：是个命令，监控指定目录是否发生变化（有缺陷，不推荐使用）
- sersync：国产开源，内置inotify+rsync命令
- lsyncd
二、Sersync原理
三、Sersync同步架构
四、上手指南
1.rsync服务准备
1.1 rsync服务端
[root@backup ~]# cat /etc/rsyncd.conf
[nfsbackup]
comment = "nfs备份文件夹"
path = /nfsbackup
[root@backup ~]# mkdir -p /nfsbackup
[root@backup ~]# chown -R rsync.rsync /nfsbackup/
[root@backup ~]# ll -d /nfsbackup/
drwxr-xr-x 2 rsync rsync 48 Jan 13 11:19 /nfsbackup/
1.2 rsync客户端
#客户端测试，客户端记得创建密码文件并授予权限600
[root@nfs ~]# rsync -az /etc/hostname rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.client
#服务端查看
[root@backup ~]# ll /nfsbackup/
total 4
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:39 1.txt
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:41 2.txt
-rw-r--r-- 1 rsync rsync 4 Jan 9 11:11 hostname
2.Sersync部署
2.1 部署
#部署在nfs上，因为要监控他的目录
#sersync软件包链接：https://pan.baidu.com/s/1avBKUdGMP2TKqw2GOPsSsw 提取码：hi4x
#目录规划：
命令放在：/app/tools/sersync/bin/
配置文件放在:/app/tools/sersync/conf/
#上传软件包到家目录
#查看上传的软件包
[root@nfs ~]# ll
total 712
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#解压上传的软件包
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# ll
total 712
drwxr-xr-x 2 root root 41 Oct 26 2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#创建目录
[root@nfs ~]# mkdir -p /app/tools/sersync/{bin,conf}
#移动命令和配置文件到规划好的目录里
[root@nfs ~]# mv GNU-Linux-x86/sersync2 /app/tools/sersync/bin
[root@nfs ~]# mv GNU-Linux-x86/confxml.xml /app/tools/sersync/conf/
#查看是否移动成功
[root@nfs ~]# tree -F /app/tools/
/app/tools/
└── sersync/
├── bin/
│ └── sersync2*
└── conf/
├── confxml.xml*
└── confxml.xml.bak*
3 directories, 3 files
2.2 启动服务
#给命令创建软链接
[root@nfs ~]# ln -s /app/tools/sersync/bin/sersync2 /bin/
#查看命令的参数
[root@nfs ~]# /app/tools/sersync/bin/sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
#启动进程
[root@nfs ~]# sersync2 -rdo /app/tools/sersync/conf/confxml.xml
#查看进程是否启动
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
#开机自启，记得给执行权限
[root@nfs ~]# ll -d /etc/rc.d/rc.local
-rw-r--r--. 1 root root 473 Oct 2 2020 /etc/rc.d/rc.local
[root@nfs ~]# chmod +x /etc/rc.d/rc.local
注意事项：
同一个配置文件只能存在1个进程，否则会出现异常
如果要监控多个目录，复制多个配置文件，启动多个服务
2.3 关闭服务
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
[root@nfs ~]# kill 1468 #也可以执行 pkill sersync
2.4 配置文件详解
[root@nfs ~]# cat /app/tools/sersync/conf/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
#通过的时候排除什么，默认关闭。false关闭，true开启
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
#配置inotify监控规则，通过事件
<inotify>
<delete start="true"/> #监控是否有删除
<createFolder start="true"/> #监控是否有创建目录
<createFile start="false"/> #监控是否创建文件
<closeWrite start="true"/> #是否有closeWrite事件，修改后的退出（文件被修改）
<moveFrom start="true"/> #移动，改名
<moveTo start="true"/> #移动，改名
<attrib start="false"/> #文件属性变化
<modify start="false"/> #文件内容修改
</inotify>
<sersync>
#监控的目录变化
<localpath watch="/opt/tongbu"> #监控哪些目录，一般为存储共享目录
<remote ip="127.0.0.1" name="tongbu1"/> #rsync服务端的ip地址和rsync服务端的模块名称
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
#配置rsync客户端的命令
<rsync>
<commonParams params="-artuz"/> #命令行选项，-az 默认加--delete
<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
#auth start 是否开启免密模式，一般为yes，认证用户，客户端密码文件
<userDefinedPort start="false" port="874"/><!-- port=874 --> #rsync服务端口，这里关闭，默认873
<timeout start="false" time="100"/><!-- timeout=100 --> #超时时间
<ssh start="false"/>
</rsync>
#日志
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
3.NFS配置
#服务端
[root@nfs ~]# cat /etc/exports
/data/ 172.16.1.0/24(rw)
#客户端
[root@web01 ~]# mount -t nfs 172.16.1.31:/data/ /upload/
Linux实时同步的更多相关文章
- linux 实时同步inotify
#实时同步inotify 1.inotify简介inotify是一种强大的,细腻度的,异步的文件系统事件监控机制,linux内核从2.6.13起,加入了inotify支持,通过INOTIFY可以监控文 ...
- Linux下Rsync+sersync实现数据实时同步
inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一. ...
- Linux 下配置多机实时同步
没钱的时候,用此方案做网站内容的负载均衡.异地备份,经济实惠又方便(仅针对网站文件做实时同步,如果数据库,则考虑mysql的多主架构) 一.机器配置及机房IP A机,位于杭州,IP: 115.33.2 ...
- linux系统中rsync+inotify实现服务器之间文件实时同步
最近需要对服务器上的文件实施动态备份,我又不想每次都手动来进行备份,在网上找了挺多资料,发现使用rsync就可以实现,如果想要实现实时同步,还可以使用rsync+inotify组合,本文就是以组合方式 ...
- linux下两台服务器文件实时同步方案设计和实现
inux下两台服务器文件实时同步方案设计和实现 假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /o ...
- linux rsync实时同步
rsync同步 同步与复制的差异:复制:完全拷贝源到目标同步:增量拷贝,只传输变化过的数据 同步操作:remote sync 远程同步支持本地复制,或与其他ssh,rsync主机同步.官方网站:htt ...
- Linux下Rsync+Inotify-tools实现数据实时同步
Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件 ...
- Linux服务器间文件实时同步的实现
使用场景 现有服务器A和服务器B,如果服务器A的指定目录(例如 /home/paul/rsync/ )中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如 /home/ ...
- linux下两台服务器文件实时同步方案实现-乾颐堂
假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /opt/bak/test/ 实现的目的就是保持这两 ...
- linux设置rsync+inotify实时同步文件
linux设置rsync+inotify实时同步文件 应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...
随机推荐
- 论文笔记 - Calibrate Before Use: Improving Few-Shot Performance of Language Models
Motivation 无需参数更新的 In-Context Learning 允许使用者在无参数的更新的情况下完成新的下游任务,交互界面是纯粹的自然语言,无 NLP 技术基础的用户也可以创建 NLP ...
- AR空间音频能力，打造沉浸式声音体验
随着元宇宙的兴起,3D虚拟现实广泛引用,让数字化信息和现实世界融合,目前大家的目光主要聚焦于视觉交互层面,为了在虚拟环境中更好的再现真实世界的三维空间体验,引入听觉层面必不可少,空间音频孕育而生. 空 ...
- C#字典出错“集合已经修改，可能无法执行枚举操作”
出现这个现象的原因是由于线程安全考虑,如果你边对字典循环,又同时移除字典中的某个键值对, 那么将会出现这种错误,解决这种问题的方法是你没次remove某个键值对后需要break结束对字典的循环.
- Git 实战代码分支管理 | Git Flow 策略
简介 在团队协作开发中,版本管理工具尤为重要,它可以帮助团队很好地进行代码的共享.回滚等操作,比较流行的版本管理工具有:CVS.SVN.Git.Git作为分布式版本管理工具,优势十分明显,它可以为 ...
- EntityUtils MapStruct BeanCopier 数据实体类转换工具 DO BO VO DTO 附视频
一.序言 在实际项目开发过程中,总有数据实体类互相转换的需求,DO.BO.VO.DTO等数据模型转换经常发生.今天推荐几个好用的实体类转换工具,分别是EntityUtils MapStruct Bea ...
- Java 中九种 Map 的遍历方式，你一般用的是哪种呢？
日常工作中 Map 绝对是我们 Java 程序员高频使用的一种数据结构,那 Map 都有哪些遍历方式呢?这篇文章阿粉就带大家看一下,看看你经常使用的是哪一种. 通过 entrySet 来遍历 1.通过 ...
- 重新认识下JVM级别的本地缓存框架Guava Cache(2)——深入解读其容量限制与数据淘汰策略
大家好,又见面了. 本文是笔者作为掘金技术社区签约作者的身份输出的缓存专栏系列内容,将会通过系列专题,讲清楚缓存的方方面面.如果感兴趣,欢迎关注以获取后续更新. 通过<重新认识下JVM级别的本地 ...
- linux系统移植
1 linux环境搭建 1.1 添加交叉开发工具链 新建如下工程目录: gcc-4.6.4.tar.xz #拷贝 tar -Jxvf gcc-4.6.4.tar.xz #解压 cd ./gcc-4.6 ...
- TypeScript 之 Interface
Interface 描述:用来描述对象的形状,能够被继承 常用语法 ( Common Syntax ) 1. 描述普通对象 interface JsonResponse { version:numbe ...
- 介绍一款高性能分布式MQTT Broker(带web)
SMQTTX介绍 SMQTTX是基于SMQTT的一次重大技术升级,基于Java开发的分布式MQTT集群,是一款高性能,高吞吐量,并且可以完成二次开发的优秀的开源MQTT broker,主要采用技术栈: ...