Linux实时同步
实时同步
一、概述
背景:
- 以前，通过rsync+定时任务实现对文件的定时备份/同步
- 现在，对于NFS来说，需要进行实时同步
选择：
- 分布式存储
- 使用实时同步服务+NFS
- 选择公有云对象存储OSS，七牛云存储，腾讯存储COS
- NFS+实现同步工具
- inotify：是个命令，监控指定目录是否发生变化（有缺陷，不推荐使用）
- sersync：国产开源，内置inotify+rsync命令
- lsyncd
二、Sersync原理
三、Sersync同步架构
四、上手指南
1.rsync服务准备
1.1 rsync服务端
[root@backup ~]# cat /etc/rsyncd.conf
[nfsbackup]
comment = "nfs备份文件夹"
path = /nfsbackup
[root@backup ~]# mkdir -p /nfsbackup
[root@backup ~]# chown -R rsync.rsync /nfsbackup/
[root@backup ~]# ll -d /nfsbackup/
drwxr-xr-x 2 rsync rsync 48 Jan 13 11:19 /nfsbackup/
1.2 rsync客户端
#客户端测试，客户端记得创建密码文件并授予权限600
[root@nfs ~]# rsync -az /etc/hostname rsync_backup@172.16.1.41::nfsbackup --password-file=/etc/rsync.client
#服务端查看
[root@backup ~]# ll /nfsbackup/
total 4
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:39 1.txt
-rw-r--r-- 1 rsync rsync 0 Jan 13 10:41 2.txt
-rw-r--r-- 1 rsync rsync 4 Jan 9 11:11 hostname
2.Sersync部署
2.1 部署
#部署在nfs上，因为要监控他的目录
#sersync软件包链接：https://pan.baidu.com/s/1avBKUdGMP2TKqw2GOPsSsw 提取码：hi4x
#目录规划：
命令放在：/app/tools/sersync/bin/
配置文件放在:/app/tools/sersync/conf/
#上传软件包到家目录
#查看上传的软件包
[root@nfs ~]# ll
total 712
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#解压上传的软件包
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz
[root@nfs ~]# ll
total 712
drwxr-xr-x 2 root root 41 Oct 26 2011 GNU-Linux-x86
-rw-r--r-- 1 root root 727290 Jan 13 09:14 sersync2.5.4_64bit_binary_stable_final.tar.gz
#创建目录
[root@nfs ~]# mkdir -p /app/tools/sersync/{bin,conf}
#移动命令和配置文件到规划好的目录里
[root@nfs ~]# mv GNU-Linux-x86/sersync2 /app/tools/sersync/bin
[root@nfs ~]# mv GNU-Linux-x86/confxml.xml /app/tools/sersync/conf/
#查看是否移动成功
[root@nfs ~]# tree -F /app/tools/
/app/tools/
└── sersync/
├── bin/
│ └── sersync2*
└── conf/
├── confxml.xml*
└── confxml.xml.bak*
3 directories, 3 files
2.2 启动服务
#给命令创建软链接
[root@nfs ~]# ln -s /app/tools/sersync/bin/sersync2 /bin/
#查看命令的参数
[root@nfs ~]# /app/tools/sersync/bin/sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________
#启动进程
[root@nfs ~]# sersync2 -rdo /app/tools/sersync/conf/confxml.xml
#查看进程是否启动
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
#开机自启，记得给执行权限
[root@nfs ~]# ll -d /etc/rc.d/rc.local
-rw-r--r--. 1 root root 473 Oct 2 2020 /etc/rc.d/rc.local
[root@nfs ~]# chmod +x /etc/rc.d/rc.local
注意事项：
同一个配置文件只能存在1个进程，否则会出现异常
如果要监控多个目录，复制多个配置文件，启动多个服务
2.3 关闭服务
[root@nfs ~]# ps -ef |grep sersync
root 1468 1 0 11:14 ? 00:00:00 sersync2 -rdo /app/tools/sersync/conf/confxml.xml
root 1829 1743 0 11:28 pts/0 00:00:00 grep --color=auto sersync
[root@nfs ~]# kill 1468 #也可以执行 pkill sersync
2.4 配置文件详解
[root@nfs ~]# cat /app/tools/sersync/conf/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
#通过的时候排除什么，默认关闭。false关闭，true开启
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
#配置inotify监控规则，通过事件
<inotify>
<delete start="true"/> #监控是否有删除
<createFolder start="true"/> #监控是否有创建目录
<createFile start="false"/> #监控是否创建文件
<closeWrite start="true"/> #是否有closeWrite事件，修改后的退出（文件被修改）
<moveFrom start="true"/> #移动，改名
<moveTo start="true"/> #移动，改名
<attrib start="false"/> #文件属性变化
<modify start="false"/> #文件内容修改
</inotify>
<sersync>
#监控的目录变化
<localpath watch="/opt/tongbu"> #监控哪些目录，一般为存储共享目录
<remote ip="127.0.0.1" name="tongbu1"/> #rsync服务端的ip地址和rsync服务端的模块名称
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
#配置rsync客户端的命令
<rsync>
<commonParams params="-artuz"/> #命令行选项，-az 默认加--delete
<auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
#auth start 是否开启免密模式，一般为yes，认证用户，客户端密码文件
<userDefinedPort start="false" port="874"/><!-- port=874 --> #rsync服务端口，这里关闭，默认873
<timeout start="false" time="100"/><!-- timeout=100 --> #超时时间
<ssh start="false"/>
</rsync>
#日志
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
3.NFS配置
#服务端
[root@nfs ~]# cat /etc/exports
/data/ 172.16.1.0/24(rw)
#客户端
[root@web01 ~]# mount -t nfs 172.16.1.31:/data/ /upload/
Linux实时同步的更多相关文章
- linux 实时同步inotify
#实时同步inotify 1.inotify简介inotify是一种强大的,细腻度的,异步的文件系统事件监控机制,linux内核从2.6.13起,加入了inotify支持,通过INOTIFY可以监控文 ...
- Linux下Rsync+sersync实现数据实时同步
inotify 的同步备份机制有着缺点,于是看了sersync同步,弥补了rsync的缺点.以下转自:http://www.osyunwei.com/archives/7447.html 前言: 一. ...
- Linux 下配置多机实时同步
没钱的时候,用此方案做网站内容的负载均衡.异地备份,经济实惠又方便(仅针对网站文件做实时同步,如果数据库,则考虑mysql的多主架构) 一.机器配置及机房IP A机,位于杭州,IP: 115.33.2 ...
- linux系统中rsync+inotify实现服务器之间文件实时同步
最近需要对服务器上的文件实施动态备份,我又不想每次都手动来进行备份,在网上找了挺多资料,发现使用rsync就可以实现,如果想要实现实时同步,还可以使用rsync+inotify组合,本文就是以组合方式 ...
- linux下两台服务器文件实时同步方案设计和实现
inux下两台服务器文件实时同步方案设计和实现 假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /o ...
- linux rsync实时同步
rsync同步 同步与复制的差异:复制:完全拷贝源到目标同步:增量拷贝,只传输变化过的数据 同步操作:remote sync 远程同步支持本地复制,或与其他ssh,rsync主机同步.官方网站:htt ...
- Linux下Rsync+Inotify-tools实现数据实时同步
Linux下Rsync+Inotify-tools实现数据实时同步 注意:下面的三个案例都是rsync 每次都是全量的同步(这就坑爹了),而且 file列表是循环形式触发rsync ,等于有10个文件 ...
- Linux服务器间文件实时同步的实现
使用场景 现有服务器A和服务器B,如果服务器A的指定目录(例如 /home/paul/rsync/ )中的内容发生变更(增删改和属性变更),实时将这些变更同步到服务器B的目标目录中(例如 /home/ ...
- linux下两台服务器文件实时同步方案实现-乾颐堂
假设有如下需求: 假设两个服务器: 192.168.0.1 源服务器 有目录 /opt/test/ 192.168.0.2 目标服务器 有目录 /opt/bak/test/ 实现的目的就是保持这两 ...
- linux设置rsync+inotify实时同步文件
linux设置rsync+inotify实时同步文件 应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...
随机推荐
- 论文笔记 - Noisy Channel Language Model Prompting for Few-Shot Text Classification
Direct && Noise Channel 进一步把语言模型推理的模式分为了: 直推模式(Direct): 噪声通道模式(Noise channel). 直观来看: Direct ...
- 基于案例分析 MySQL Group Replication 的故障检测流程
故障检测(Failure Detection)是 Group Replication 的一个核心功能模块,通过它可以及时识别集群中的故障节点,并将故障节点从集群中剔除掉.如果不将故障节点及时剔除的话, ...
- Installing harbor-2.6.2 on openEuler
一.Installing harbor-2.6.2 on openEuler 1 地址 https://goharbor.io https://github.com/goharbor/harbor 2 ...
- java8 (jdk 1.8) 新特性——Lambda
java8 (jdk 1.8) 新特性 --初步认识 1. 什么是lambda? 目前已知的是,有个箭头 -> 说一大段官方话,也没有任何意义 我们直接看代码: 之前我们创建线程是这样的 Ru ...
- qtcreator配置cmake+mingw开发环境
环境准备 cmake 添加到PATH环境变量. mingw: 这里我用的mingw是Qt自带的,我将其添加到PATH环境变量中. 在cmd中执行 mingw32-make.exe 和 cmake查看命 ...
- 【PPT】NET Conf China 2022，主题：C#在iNeuOS工业互联网操作系统的开发及应用
从技术生态发展过程及理念.产品级解决方案理念.产品系统框架及主要功能介绍.产品系统二次开发和应用案例等5个方面进行了主题发言. 从2003到现在,使用.NET技术生态19年左右. 10多年的煤炭.电 ...
- node-sass报错(Node Sass could not find a binding for your current environment)
解决方案:参考 https://stackoverflow.com/questions/37986800/node-sass-couldnt-find-a-binding-for-your-curre ...
- Java 中的接口还可以这样用，你知道吗？
Java 程序员都知道要面向接口编程,那 Java 中的接口除了定义接口方法之外还能怎么用你知道吗?今天阿粉就来带大家看一下 Java 中的接口还可以有哪些用法. 基本特性 我们先看一下接口的基本特性 ...
- Surp Suite入门
BurpSuite代理工具是以拦截代理的方式,拦截所有通过代理的网络流量,如客户端的请求数据.服务器端的返回信息等.Burp Suite主要拦截HTTP和HTTPS 协议的流量,通过拦截,Burp S ...
- SQLMap入门——获取数据库用户的密码
列出数据库用户的密码 如果当前用户有读取包含用户密码的权限,SQLMap会先列举出用户,然后列出Hash,并尝试破解 python sqlmap.py -u http://localhost/sqli ...