在数字化时代的今天,随着个人拥有的数据量急剧增加,对其中的重要数据进行备份以保证其安全性、正确性变得越来越重要。同时,由于在公司、实验室、家里、外出等不同环境下往往使用不同的电脑设备(如台式机、笔记本)与存储介质(如移动硬盘、U盘),在多台电脑以及存储介质之间保持数据的同步和一致也成为越来越频繁且麻烦的操作,以至于靠人工辩别与手动操作变得不再可能。因此,能够有一款工具软件能够自动、高效、稳定地完成上述数据备份和同步操作就变得极其必要。以往,我曾使用过Total Commander自带的同步功能以及微软推出的小工具SyncToy,虽然图形化的操作很容易上手,但是性能差强人意。当数据量达到1TB以上时,就会出现程序卡死的情况。因此,它们无法满足我目前的需求。而GNU/Linux下著名的rsync命令以其高性能、可靠性、灵活性,则完全可以胜任这样的工作,而且即使数据量再大也毫无问题。在同步的过程中,rsync通过比较文件内容,仅传输差异部分,因而速度很快。同时,rsync在传输文件时始终都做md5校验,所以非常可靠安全,使用者不用担心文件内容出错的问题。再者,rsync既可以通过不同的外设接口将数据同步至连接到本机的移动存储设备上,也可以经由网络以SSH的方式与其他电脑进行数据交换,因而同步方式非常灵活。接下来,本文对rsync的常用命令行参数与过滤器予以简要介绍。更细节的问题则可以参考使用手册。

常用命令行参数

  • -r, --recursive: 递归同步目录。
  • -t, --times: 保留文件修改时间。
  • -l, --links: 拷贝符号链接。默认情况下,rsync对符号链接不作任何处理。要想拷贝它们,就需要此选项。同时,由于被同步的整个文件树在不同电脑上所在的绝对路径会有不同,所以建议基于相对路径创建软符号链接。这样一来,只要保证目录树本身的结构不变,软符号链接在不同的电脑上均有效。
  • -v, --verbose: 在执行备份、同步的过程中显示详细信息。
  • -z, --compress: 传输文件的过程中压缩数据。当通过网络在两台电脑间直接同步数据时,最好将该选项加上。
  • -u, --update: 跳过在目的端较新的文件。这样一来,该文件就不会被来源端的同名文件覆盖。或者当来源端没有该文件时,该文件亦不会被删除。这对于在两台或者多台电脑上分别创建了一些新文件然后需要将其统一合并的情况非常有用。
  • --delete: 删除存在于目的端但不在来源端的文件。该选项可与-u, --update一起使用。
  • -i, --itemize-change: 输出文件改动汇总报告。
  • --exclude: 定义一条文件排除规则。命令行上可以出现多个该选项。
  • --exclude-from=FILE:指定从配置文件FILE读取排除规则。
  • --include: 定义一条文件包含规则。命令行上可以出现多个该选项。
  • --include-from=FILE:指定从配置文件FILE读取包含规则。
  • -n, --dry-run: 只输出将要进行的具体的同步操作而不实际执行。

过滤器

可以在配置文件中或者直接在命令行上定义一组文件名匹配过滤规则,用于包含和排除需要同步的文件。对于每一个待同步的文件,第一个被匹配的规则生效。如果没有遇到任何匹配,则该文件被默认包含在同步操作中。

过滤器规则格式

RULE [PATTERN_OR_FILENAME]
RULE,MODIFIERS [PATTERN_OR_FILENAME]

过滤器规则前缀

exclude, - specifies an exclude pattern.
include, + specifies an include pattern.
merge, . specifies a merge-file to read for more rules.
dir-merge, : specifies a per-directory merge-file.
hide, H specifies a pattern for hiding files from the transfer.
show, S files that match the pattern are not hidden.
protect, P specifies a pattern for protecting files from deletion.
risk, R files that match the pattern are not protected.
clear, ! clears the current include/exclude list (takes no arg)

在配置文件中指定过滤器

  • 空白行被忽略。
  • #用于注释行。
  • 每一行为一条规则。

之后在rsync命令行上使用--exclude-from或--include-from选项,加载配置文件。

在命令行指定过滤器

  • 每一个--include--exclude选项只能定义一条规则,但是可以定义多个。
  • 只支持include、exclude和clear三种规则。

模式匹配

  • 模式不包含任何前缀:可以匹配被遍历文件树的任何位置。

  • 模式以/开头:从待传输文件树的根目录开始匹配。

  • 模式以/结尾:仅匹配文件夹,而不匹配普通文件、符号链接或设备文件。

  • 模式可以包含*?[通配符。

    • *可以匹配除了/之外的任何路径名。
    • **可以匹配任何路径名,包括/
    • 可以匹配除了/之外的任何单个字符。
    • [用于定义字符集,如[a-z]

修饰符

  • /: 用于指定使用操作系统绝对路径匹配。
  • !: 当模式不匹配时规则生效,即对原规则逻辑取反。

注意与说明

  • 如果父文件夹未被包括在同步文件列表内的话,其所包含的文件与子文件夹也不会被同步。

  • 当模式字符串中用到了通配符时,若需要写出某个通配符所代表的原字符,便需要使用反斜线转义。如果在模式字符串中只用到通配符的原义字符,则无需反斜线转义。

使用rsync备份与同步文件的更多相关文章

  1. linux设置rsync+inotify实时同步文件

    linux设置rsync+inotify实时同步文件   应用场景: 同步接收方:test01 接收目录:/opt/software/test/a/ 同步发起方:test02 同步目录:/opt/so ...

  2. 通过在shell脚本中用scp或rsync实现远程同步文件

    通过在shell脚本中用expect实现远程scp文件  shell expect的简单用法 http://myunix.blog.51cto.com/191254/1095074 http://ji ...

  3. centos7中使用Rsync和inotify同步文件

    一. 环境说明 由于web服务器所提供的网站数据需要保持一致,但当服务器越来越多时,这些主机之间同步网站数据会很麻烦. 解决方案是在后端建立一个数据发布服务器,该服务器作为rsync客户端,通过ino ...

  4. rsync实现文件备份同步(比如服务器镜像)

    [rsync实现网站的备份,文件的同步,不同系统的文件的同步,如果是windows的话,需要windows版本cwrsync] 一.什么是rsync rsync,remote synchronize顾 ...

  5. Rsync备份服务部署

    1 Rsync服务器架构规划 在搭建服务之前需要做以下规划设计,其中包括:主机规划表.主机IP地址规划表.主机架构图.主机hosts解析以及linux主机基础优化等 1.1 主机规划表 服务器说明 数 ...

  6. 利用rsync备份生产应用(一)

    rsync简单介绍 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.Rsync使用所谓的"Rsync算法"来 ...

  7. 用rsync命令删除大文件夹

    删除大文件夹 rsync 命令做同步文件用的命令 我们可以借助其快速的运行 来对大文件夹删除:原来就是 新建一个空文件夹 然后把这个空文件夹同步到一个大文件夹下面: 这样会删除大文件夹下面的内容 是高 ...

  8. rsync服务架设(数据同步|文件增量备份)

        近期由于业务需要,需要将两台服务器数据保持同步.方案有很多,rsync是其中一种解决方案,本文对rsync的安装及配置进行简单说明,其他实现方式有兴趣可以研究.以下是本文提纲,供参考: rsy ...

  9. Rsync + Lsyncd服务实现文件实时同步/备份

    1.接受端安装rsync yum -y install rsync 2.配置同步模块 vim /etc/rsyncd.conf # any name you like [backup] # desti ...

随机推荐

  1. JSSDK调用微信原生的功能上传图片保存到自己的服务器中

    第一件事首先是微信的选择图片功能,就是微信发朋友圈选择图片的时候那个界面 //调用微信拍照功能 wx.chooseImage({ count: 1, // 默认9 sizeType: ['origin ...

  2. vue路由参数变化刷新数据

    当路由到某个组件时,由于组件会复用,所以生命周期函数不会再次执行, 如果这个组件是模板组件,靠传入不同数据来显示的.那么,可能会发生参数变化了但页面数据却不变化. 问题 假如有个组件 info.vue ...

  3. python经典例题100题01

    [程序1] 题目:有1.2.3.4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少? ans = [i*100+j*10+k for i in range(1, 5) for j in ra ...

  4. mysql 修改表结构、表字段注释语句

    虽然现在有各种各样的工具可以直接对表结构进行修改,但是我还是喜欢使用语句进行修改.以下语句是对表增加字段.给字段加注释的语句 alter table orders add column isupdyq ...

  5. MAC上有哪些优秀的日常软件| 入门级Mac OS 用户必备软件

    本文整理的网友反馈的MAC上有哪些优秀的日常软件+入门级Mac OS 用户必备软件,感兴趣的朋友可以看看,下载下来试用一样便知实不实用.如有更好的推荐,欢迎留言. MAC上有哪些优秀的日常软件 Tim ...

  6. 老男孩Python全栈学习 S9 日常作业 012

    1.斐波那契数列用递归实现:问第n个斐波那契数是多少 def fbnq(n): if n == 0 or n == 1: return 1 else: return fbnq(n-1)+fbnq(n- ...

  7. markdown 转义字符

    \\ 反斜杠 \` 反引号 \* 星号 \_ 下划线 \{\} 大括号 \[\] 中括号 \(\) 小括号 \# 井号 \+ 加号 \- 减号 \. 英文句号 \! 感叹号

  8. linux的sed命令(一)

    转自:https://www.cnblogs.com/ginvip/p/6376049.html Sed 简介 sed 是一种新型的,非交互式的编辑器.它能执行与编辑器 vi 和 ex 相同的编辑任务 ...

  9. 自搭的一个系统框架,使用Spring boot+Vue+Element

    基于:jdk1.8.spring boot2.1.3.vue-cli3.4.1 特性:    ~ 数据库访问使用spring data jpa+alibaba druid    ~ 前后端数据交互使用 ...

  10. arrow function and bind

    Can you bind arrow functions? https://stackoverflow.com/questions/33308121/can-you-bind-arrow-functi ...