使用rsync同步目录
本文描述了linux下使用rsync单向同步两个机器目录的问题。 使用rsync同步后可以保持目录的一致性(含删除操作)。
数据同步方式
从主机拉数据
备机上启动的流程
同步命令:
rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir}
参数说明:
-a 参数,相当于-rlptgoD(-r 是递归 -l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件);
-z 传输时压缩;
-P 传输进度;
-v 传输时的进度等信息;
示例:
rsync -avzP --delete root@192.168.1.100:/tmp/rtest1 /tmp/
向备机推数据
主机上启动的流程
同步命令:
rsync -avzP --delete {localDir} root@{remoteHost}:{remoteDir}
示例:
rsync -avzP --delete /tmp/rtest1 root@192.168.1.101:/tmp/
自动同步配置
描述同步时不输入密码的配置的方法。
使用ssh key
该方法可以直接使用rsync命令进行同步,同步过程中无需输入密码。
在主机上产生ssh key :
ssh-keygen -t rsa
在备机上加入pubkey
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.101
或者手动添加:
在主机上执行以下命令获取pubkey:
cat ~/.ssh/id_rsa.pub
在备机上加入key内容:
vi ~/.ssh/authorized_keys
使用pexpect自动输入密码
示例代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*- import pexpect
import time
import traceback def doRsync(user,passwd,ip,srcDir,dstDir,timeout=3600):
cmd = "rsync -azPq --delete {srcDir} {rUser}@{rHost}:{dstDir}".format(
rUser = user,rHost=ip,srcDir=srcDir,dstDir=dstDir
)
try:
ssh = pexpect.spawn(cmd,timeout=timeout)
print cmd
i = ssh.expect(['password:', 'continue connecting (yes/no)?'], timeout=5)
if i == 0 :
ssh.sendline(passwd)
elif i == 1:
ssh.sendline('yes')
ssh.expect('password: ')
ssh.sendline(passwd)
ssh.read()
ssh.close()
except :
#print traceback.format_exc()
pass if __name__ == '__main__':
doRsync("root","","192.168.1.101","/tmp/rtest1","/tmp")
上面是使用python实现的代码,大家可根据情况用其它语言实现该功能。
其它
1、rsync在执行过程中被kill掉会怎么样;
http://unix.stackexchange.com/questions/5959/how-can-i-pause-resume-rsync
It is safe to kill an rsync process and run the whole thing again; it will continue where it left off. It may be a little inefficient, particularly if you haven't passed --partial (included in -P), because rsync will check all files again and process the file it was interrupted on from scratch.
rsync被kill掉是安全的,下次启动时还可以正常工作。
2、rsync不能指定时间段;
1)该问题可以通过kill来解决
2)或者使用pexpect的timeout参数来控制
3)可以先通过find查找过滤出文件夹的名字,然后使用rsync进行同步 这个可以根据现有业务的特征进行,比如:
find /tmp -name '*' -newermt '2016-03-08' ! -newermt '2016-03-20'
3、rsync在写文件过程中同步(比如录音过程中执行rsync操作)
经测试,rsync会同步部分文件内容,文件写入完成后再执行rsync会保持文件的一致
4、当文件数量达到百万级以上时,rsync同步时扫描改变的文件非常耗时
本文github地址:
https://github.com/mike-zhang/mikeBlogEssays/blob/master/2016/20160818_使用rsync同步目录.md
欢迎补充
使用rsync同步目录的更多相关文章
- rsync同步目录及同步文件
最简单的只读同步工作. 一,服务端的配置 1,安装rsync(阿里云默认已有此程序) 略 2,生成文件rsyncd.conf,内容如下: #secrets file = /etc/rsyncd.sec ...
- rsync同步目录
-a, --archive archive mode; equals -rlptgoD (no -H,-A,-X) -r, --recursive recurse into directories - ...
- [CentOS] rsync同步目录进行备份文件
操作不难,网上一堆.这里列几个 CentOS7 参考地址: https://www.server-world.info/en/note?os=CentOS_7&p=rsync Copy fil ...
- 运维工作中常用到的几个rsync同步命令
作为一个运维工程师,经常可能会面对几十台.几百台甚至上千台服务器,除了批量操作外,环境同步.数据同步也是必不可少的技能.说到“同步”,不得不提的利器就是rsync. 下面结合本人近几年运维工作中对这一 ...
- rsync+inotify 实现资源服务器的同步目录下的文件变化时,备份服务器的同步目录更新,以资源服务器为准,去同步其他客户端
测试环境: 资源服务器(主服务器):192.168.200.95 备份服务器(客户端):192.168.200.89 同步目录:/etc/test 同步时使用的用户名hadoop密码12345 实验目 ...
- Linux使用rsync客户端与服务端同步目录进行备份
一.服务端设置 1. 修改 server 端配置 # vi /etc/rsyncd.conf 修改: uid = nobody # 该选项指定当该模块传输文件时守护进程应该具有的uid.默认值为&qu ...
- rsync实现目录同步
rsync rsync是linux系统下的数据镜像备份工具.使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH.rsync主机同步. 外文名 rsync 全 ...
- 使用rsync, 向另外一台服务器同步目录和文件的脚本
#!/bin/bash #亚特兰蒂斯-同步目录#定时任务ini_file="/usr/local/sunlight/conf/rsync-file.ini"target_ip=&q ...
- puppet使用rsync模块同步目录和文件
puppet使用rsync模块同步目录和文件 2013-09-23 14:28:57 分类: LINUX 环境说明: OS : CentOS5.4 ...
随机推荐
- With(ReadPast)就不会被阻塞吗?
在生产环境中,会有很多使用ReadPast查询提示的场合,来避免正在被其它事务锁定的行对当前查询造成阻塞,而又不会获取到“脏数据”. 可是很多人都疑惑,为什么我使用了ReadPast仍然有时会被阻塞? ...
- QunInfo群数据库的还原与优化
一. 背景 这个数据库的数据文件mdf大概有8.5G左右,当还原数据库之后感觉可以做很多性能方面上的调优,合并数据后mdf数据文件大概有6.2G左右,行压缩后mdf数据文件大概有4.8G左右,页压缩后 ...
- Quartz.net开源作业调度框架使用详解
前言 quartz.net作业调度框架是伟大组织OpenSymphony开发的quartz scheduler项目的.net延伸移植版本.支持 cron-like表达式,集群,数据库.功能性能强大更不 ...
- JS事件调试 - 查找HTML元素绑定的事件以及绑定代码所在位置
日常的网页开发调试工作中,经常需要知道指定的某个网页元素绑定了哪些事件以及绑定代码的位置,下面介绍三种用来跟踪页面中的事件的方法. 1.使用firefox调试 我们可以使用firefox的debug工 ...
- JavaScript权威设计--CSS(简要学习笔记十六)
1.Document的一些特殊属性 document.lastModified document.URL document.title document.referrer document.domai ...
- IDDD 实现领域驱动设计-上下文映射图及其相关概念
上一篇:<IDDD 实现领域驱动设计-理解限界上下文> 距离上一篇有几天时间了,<实现领域驱动设计>第三章的内容都是围绕一个词-上下文映射图,我大概断断续续看了几天,总共看了两 ...
- C#:解决WCF中服务引用 自动生成代码不全的问题。
问题描述: 如下图:打叉的部分是引用不成功的部分 ,在web.config文件中没有自动添加其引用代码. 英文解释 在服务引用选择自己的项目的程序集就行了,如下图: 特别注意:这些程序集一定要在自己的 ...
- 在IE浏览器中执行OpenFlashChart的reload方法时无法刷新的解决方法
由于项目需求,需要在网页上利用图表展示相关数据的统计信息,采用了OpenFlashChart技术.OpenFlashChart是一款开源的以Flash和Javascript为技术基础的免费图表,用它能 ...
- Node学习笔记(二):事件驱动
接触Node,提得最多的可能就是回调,异步非阻塞处理,思前想后,JavaScript从前端语言过渡到服务器端,最大的劣势可能就是线程,当然这方面的不足现在也被慢慢弥补起来了(很多第三方的npm包可供下 ...
- C#实现微信开发前奏
不想废话,直接写了!因为是留给自己做随笔的,所以大神们看到别喷…… 1.必须有微信公众账号 2.你也可以申请测试微信号,链接给你 http://mp.weixin.qq.com/debug/cgi ...