rsync+inotify同步备份
1.rsync与scp区别
scp无法备份大量数据,先统计文件信息,后进行拷贝,如果文件大小超出磁盘空间,则无法拷贝
rsync边复制,边比较,边统计
2.rsync特点
(1.)支持增量备份
(2.)选择性的保持:符号链接,硬链接,文件属性,权限,时间
(3)传输前执行压缩,适用于异地备份,镜像服务器等应用。
(4.)使用ssh作为传输端口,sftp,ssh
(5.)rsync默认端口 873,是c/s架构,可以直接使用rsync命令,进行点到点的传输 。
(6.)官网:http://rsync.samba.org 推荐开源网站下载:https://sourceforge.net/
3.同步数据的方式
(1.)推:一台主机负责将数据传给其他主机,服务器开销大,适合后端服务器比较少
(2.)拉:所有知己定时去找一台主机拉数据,可能会导致数据同步缓慢。
一般做法:推拉结合,即主机A先将数据推送给主机B和主机C,然后其他主机D,E,F从B和C主机上拉取数据。
4.rsync安装
rpm -qf `which rsync`
ls /etc/xinetd.d/rsync
rpm -ivh /mnt/Package/xinetd-2.3.14-33.el6.x86_64.rpm
开启rsync服务
vim /etc/xinetd.d/rsync
将disable改为no
rsync监听端口 TCP 873
5.rsync命令基本用法
格式:rsync [选项] 源文件 目标文件
rsync 选项 用户名@备份源服务器IP::共享模块名 目标目录
-a 归档
-p 保持原有文件权限
-t 保持原有文件时间
-g 保持原有文件的用户组
-o 保持原有文件的属主
-z 压缩传输
-P 显示传输进度
--delete 删除那些目标位置有而原始位置没有的文件
6.创建sync用户
useradd rget1
echo "123456" | password --stdin rget1
useradd rput1
echo "123456" | password --stdin rput1
设置权限
setfacl -R -m user:rput1:rwx /var/www/html/
serfacl -R -m user:rget1:rwx /var/www/html/
setfacl -R -m default:rget1:rwx /var/www/html/
getfacl /var/www/html/
7.同步文件
rsync -azP --delete rget1@192.168.1.63:/var/www/html/ /web-back/
注意:文件的权限要有拷贝的权限,如果没有加权限。
8.免密传输
ssh-keygen -t rsa //一路回车
ssh-copy-id rget1@192.168.1.63
ssh rget1@192.168.1.63 //测试登录
//实现无交互脚本
export RSYNC_PASSWORD=xxx
rsync -avz backer@192.168.1.63::www/root /web-back/
9.定期增量备份
crontab -e
0 1 3 * * * /root/rsync.sh //写一个同步脚本,定时同步数据
10.配置rsync服务器
(1.)创建自己的配置文件
/etc/rsyncd.conf
- 全局参数:对于rsync服务器生效,如果模块参数冲突,模块参数生效。
- 模块参数:定义rsync输出的目录的参数
(2.)创建备份账户,以daemon的方式运行rsync
11.添加防火墙规则
iptables -A INPUT -p tcp --dport 873 -j ACCEPT
/etc/init.d/iptables save
12.rsync与inotify实现同步机制
(1.)inotify下载
https://sourceforge.net/projects/inotify-tools/
(2.)查看内核是否支持
uname -a //内核版本大于2.6.13即可
ll /proc/sys/fs/inotify/ //三个文件表示:监控事件队列 监控实例数 监控文件数
可以修改上述三个文件中的数字,vi /etc/sysctl.conf配置文件
fs.inotify.max_queued_events=32768
fs.inotify.max_users_instances=1024
fs.inotify.max_watches=90000
修改后,使文件生效
sysctl -p
查看是否修改成功
cat /proc/sys/fs/inotify/max_user_watches
(3.)安装inotify
tar -zxvf inotify-tools-3.1.3.tar.gz
./configure
make -j 4 //指定4核cpu进行编译
make install
(4.)inotifywait 用法
-e 用于指定监控哪些事件 creat delete move modify
-m 持续监控
-r 递归整个目录
-q 简化输出
示例:
inotify-wait -mrq -e create,move,delete,modify /var/www/html/
相关链接
https://linux.cn/thread-13095-1-1.html
https://www.cnblogs.com/chensiqiqi/p/6542268.html
----------------------------------【喜欢打赏】-------------------------------------------
小主,辛苦啦!文章棒棒哒,赏杯咖啡吧...

----------------------------------【喜欢打赏】-------------------------------------------
rsync+inotify同步备份的更多相关文章
- rsync数据同步备份
一.rsync简介 (1)rsync是什么? rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具. (2)rsync作用比较 远程拷贝:有点类似ssh的scp ...
- 搭建中小规模集群之rsync数据同步备份
NFS重要问题 1.有关NFS客户端普通用户写NFS的问题. 1)为什么要普通用户写NFS. 2)exports加all_squash. Rsync介绍 什么是Rsync? Rsync是一款开源的.快 ...
- rsync命令(同步/备份数据)
rsync命令rsync命令是一个远程数据同步工具,可通过 lam/wan快速同步多台主机间的文件.rsync使用所谓的 "rsync算法"来使用本地和远程两个主机之间的文件达到同 ...
- 网站集群架构(LVS负载均衡、Nginx代理缓存、Nginx动静分离、Rsync+Inotify全网备份、Zabbix自动注册全网监控)--技术流ken
前言 最近做了一个不大不小的项目,现就删繁就简单独拿出来web集群这一块写一篇博客.数据库集群请参考<MySQL集群架构篇:MHA+MySQL-PROXY+LVS实现MySQL集群架构高可用/高 ...
- Linux下实现Rsync目录同步备份
需求:对于开发机器做目录的数据备份 测试机IP:192.168.1.100 WEB目录:/bckup/ 下面我将用一台机器来备份上面测试机 /bckup下的所有数据,并实现时时同步 备份机器IP: ...
- Rsync+Inotify同步
rsync服务安装与<rsync+sersync同步>环境一样! 安装inotify-tools 在源服务器10.10.2.191上操作: 1.查看服务器内核是否支持inotify ll ...
- inotify+rsync实时同步备份nfs
学习教程总结: 1.主机1:172.16.1.41,安装rsync并运行rsync --daemon 配置好/etc/rsyncd.conf 和密码文件rscync.password并设置chomd ...
- rsync+inotify同步备份文件
前言 rsync作用:man rsync可以看到解释为a fast, versatile, remote (and local) file-copying tool,主要进行文件的同步. inotif ...
- 使用rsync+inotify同步两台服务器文件
目标功能:将B服务器文件同步到A服务器 A服务器rsyncd.conf配置 权限600 A服务器rsyncd.pas文件配置 权限600 同步文件路径 /data/wwwroot/shen/ 权限 ...
随机推荐
- O2O 线下业务 和 线上业务,在特征工程上的差异
人工智能在外卖送达时预估上的应用 这篇讲清楚了 O2O 线下业务 和 线上业务,在特征工程上的差异:
- EM-高斯混合模型
EM-高斯混合模型 认识 前面为了直观认识 EM 算法, 用的"扔硬币"的案例, 是为了简化和直观, 而稍微偏应用和深入一点是高斯模型分类,这样一个话题. 就好比我们现在有一堆的数 ...
- 剑指offer:矩阵中的路径(递归回溯法DFS类似迷宫)
1. 题目描述 /* 请设计一个函数,用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径. 路径可以从矩阵中的任意一个格子开始,每一步可以在矩阵中向左,向右,向上,向下移动一个格子. 如果一条 ...
- 关于全局异常(@ControllerAdvice)的学习与思考
一声梧叶一声秋,一点芭蕉一点愁,三更归梦三更后.____徐再思<水仙子·夜雨> 今天的主题是全局异常的构建,处理,以及一些小细节: 至于全局异常的代码构建以及一些常用的异常处理类可以看这篇 ...
- tensor 中mul_,add_解读
pytorch 中文网文档链接 https://ptorch.com/docs/1/Tensor 每一个张量tensor都有一个相应的torch.Storage保存其数据,张量类提供了一个多维的,横向 ...
- 原生javascript 共享onload事件
在工作时,我们给一个元素绑定了事件,如果dom还没加载完成,就执行了js代码,就不会绑定成功.常规解决方案就是用: window.onload = EventFunction; 可是如果有两个 事件, ...
- Kubernetes 弹性伸缩全场景解析 (一):概念延伸与组件布局
传统弹性伸缩的困境 弹性伸缩是 Kubernetes 中被大家关注的一大亮点,在讨论相关的组件和实现方案之前.首先想先给大家扩充下弹性伸缩的边界与定义,传统意义上来讲,弹性伸缩主要解决的问题是容量规划 ...
- 【EasyExcel】使用easyExcel过程中,项目报错的解决集合
报错:Can not close IO [ERROR] 2019-11-02 13:51:21.210 [ProExportSkuDataJob-1455-TaskThread-1] [com.dma ...
- Python - MySQL - mysql-connector -第二十四天
序言 搭建MySQL环境MySQL Server. 请参考:https://blog.csdn.net/m0_37788308/article/details/79965378 或者 https:// ...
- js和C#互相调用
快速上手 js和C#互相调用. C#调用js比较容易.JS调用C#代码,现有两种方法.老方法的缺点是只支持单页,如果切换页面,原有创建的变量就失效了.新方法没有这些问题. 老方法: Cefsharp ...