Linux搭建rsync服务

一、Rsync的简单介绍

Rsync是一款开源的、快速的、多功能的、可实现全量及增量（全量备份是指全部备份，增量备份是在上一次备份的基础上只备份更新的内容）的本地货远程数据同步备份的优秀工具。Rsync软件适用于unix/linux/windows等多种操作系统平台。

二、Rsync的三种工作模式

#rsync 本地模式

Local:  rsync [OPTION...] SRC... [DEST]

#rsync shell模式

Access via remote shell:

  Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

  Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

#rsync daemon模式

Access via rsync daemon:

  Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

  Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

三、Rsync常用参数

-v	详细模式输出,传输时的进度等信息
-z	传输时进行压缩以提高传输效率,--compress-level=NUM可按级别压缩
-a	以递归方式传输文件,并保持所有文件的属性
-r	对子目录以递归模式,即目录下的所有目录都以同样的模式传输
-t	保持文件的时间信息
-o	保持文件的属主信息
-p	保持文件的权限
-g	保持文件的属组信息
-P（大写）	显示同步的过程及传输时的进度等信息
-D	保持设备文件信息
-I	保留软链接
-e,--rsh=COMMAND	使用的信道协议,指定替代rsh的shell程序
-n	测试选项,模拟执行
--exclude=PATTERN	指定排除不需要传输的文件模式
--exclide-from=FILE	从文本文件读取需要排除的文件列表
--bwlimit=KBPS	限制传输速度
--partial	断点续传
--delete	使目标目录内容和源保持目录一致,删除不同的文件

四、搭建Rsync服务

实验环境：

<1>系统环境：

•CentOS7.5

<2>主机环境：

•backup01　　IP地址：10.0.0.41　　rsync服务端（备份服务端）

•nfs01　　　　IP地址：10.0.0.31　　rsync客户端（用户数据）

1、服务端（远程备份服务器）

第一步：查看rsync安装包
rpm -qa rsync

第二步：添加rsync服务的用户,管理本地目录
useradd -s /sbin/nologin -M rsync
id rsync

第三步:配置rsync的进程模式（vim /etc/rsyncd.conf）
uid = rsync
gid = rsync
use chroot = no
max connections =
timeout =
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[backup]
path = /backup
ignore errors
read only = false
list = false
fake super = yes
hosts allow = 172.16.2.0/
hosts deny = 0.0.0.0/
auth users = rsync_backup
secrets file = /etc/rsync.password

第四步：根据rsync.conf的auth_users配置帐户,远程连接的,并根据secreets file参数生成密码文件
echo "rsync_backup:wt">>/etc/rsync.password
cat /etc/rsync.password

第五步：更改密码配置文件的权限
chmod  /etc/rsync.password
ls -l /etc/rsync.password

第六步：创建共享的目录授权rsync服务管理
mkdir -p /backup
chown -R rsync.rsync /backup

#提示：如果没有/backup目录,就会chdir failed

第七步：启动rsync服务并检查
rsync --daemon
ps -ef|grep rsync|grep -v grep
lsof -i :

第八步：开机自启动
echo "/usr/bin/rsync --daemon">>/etc/rc.local
tail - /etc/rc.local

2、客户端

第一步：生成连接服务器需要的密码文件
echo "wt">>/etc/rsync.password
cat /etc/rsync.password

第二步:为密码文件配置权限
chmod  /etc/rsync.password
ls -l /etc/rsync.password

3、客户端推送数据到服务端

提示：rsync: chgrp "data" (in backup) failed: Operation not permitted (1)，出现这个语句是因为rsyncd.conf没有配置fake super = yes

[root@nfs01 ~]# mkdir /data
[root@nfs01 ~]# cd /data/
[root@nfs01 data]# touch aaa
[root@nfs01 data]# rsync -avz /data rsync_backup@172.16.2.41::backup/
Password:
sending incremental file list
rsync: chgrp "data" (in backup) failed: Operation not permitted ()
data/
data/aaa
rsync: chgrp "data/.aaa.3HdDEQ" (in backup) failed: Operation not permitted ()

sent  bytes  received  bytes  37.76 bytes/sec
total size is   speedup is 0.00
rsync error: some files/attrs were not transferred (see previous errors) (code ) at main.c() [sender=3.1.]

4、服务端查看数据是否推送成功

[root@backup01 ~]# cd /backup/
[root@backup01 backup]# ls
data
[root@backup01 backup]# cd
[root@backup01 ~]# cd /backup
[root@backup01 backup]# ls
data
[root@backup01 backup]# ls data/
aaa

五、Rsync多模块配置

uid = rsync
gid = rsync
use chroot = no
max connections =
timeout =
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[backup]
path = /backup
ignore errors
read only = false
list = false
fake super = yes
hosts allow = 172.16.2.0/
hosts deny = 0.0.0.0/
auth users = rsync_backup
secrets file = /etc/rsync.password

[wtt]
path = /wtt
ignore errors
read only = false
list = false
fake super = yes
hosts allow = 172.16.2.0/
hosts deny = 0.0.0.0/
auth users = rsync_wtt
secrets file = /etc/rsync.password.wtt

六、深入使用Rsync

1、从远程存储节点拉取数据到本地

[root@nfs01 ~]# cd /data/
[root@nfs01 data]# ls
aaa  ssss
[root@nfs01 data]# rm -f *
[root@nfs01 data]# rsync -avz  rsync_backup@172.16.2.41::backup/ /data/ --password-file=/etc/rsync.password
receiving incremental file list
./
aaa
ssss

sent  bytes  received  bytes  500.00 bytes/sec
total size is   speedup is 0.00

2、排除某些文件推送数据

#同步除名为eee文件之外的文件

[root@nfs01 data]# ls

aaa  bbb  ccc  ddd  eee  ssss

[root@nfs01 data]# rsync -avz --exclude=eee /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

data/

data/aaa

data/bbb

data/ccc

data/ddd

data/ssss

sent  bytes  received  bytes  922.00 bytes/sec

total size is   speedup is 0.00

#查看远程存储节点的数据内容

[root@backup01 backup]# ls

data

[root@backup01 backup]# ls data/

aaa  bbb  ccc  ddd  ssss

3、排除多个文件推送数据

#同步除名为ccc和eee文件之外的文件

[root@nfs01 data]# ls

aaa  bbb  ccc  ddd  eee  ssss

[root@nfs01 data]# rsync -avz --exclude={ccc,eee} /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

data/

data/aaa

data/bbb

data/ddd

data/ssss

sent  bytes  received  bytes  784.00 bytes/sec

total size is   speedup is 0.00

#查看远程存储节点的数据内容

[root@backup01 backup]# ls

data

[root@backup01 backup]# ls data/

aaa  bbb  ddd  ssss

8.4、排除连续文件推送数据

[root@nfs01 data]# ls

a  aaa  b  bbb  c  ccc  ddd  eee  ssss

[root@nfs01 data]# rsync -avz --exclude={a..c} /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

data/

data/aaa

data/bbb

data/ccc

data/ddd

data/eee

data/ssss

sent  bytes  received  bytes  356.67 bytes/sec

total size is   speedup is 0.00

5、通过排除文件推送数据

[root@nfs01 data]# cat /tmp/file.txt

ssss

eee

g

[root@nfs01 data]# ls

a  aaa  b  bbb  c  ccc  ddd  eee  ssss

[root@nfs01 data]# rsync -avz --exclude-from=/tmp/file.txt /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

data/

data/a

data/aaa

data/b

data/bbb

data/c

data/ccc

data/ddd

sent  bytes  received  bytes  402.67 bytes/sec

total size is   speedup is 0.00

6、无差异同步（--delete）

注意：使用—delete选项，即本地有啥，远程存储节点就业啥，如果远程存储节点有别的数据。那么这些“别的数据”将全部被删除掉，所有慎用这个--delete选项。

#远端存储节点的数据如下

[root@backup01 backup]# ls

data

[root@backup01 backup]# ls data/

a  aaa  b  bbb  c  ccc  ddd

#本地数据如下

[root@nfs01 data]# ls

a  b  c  d  e  f  g

#本地数据推送到远程存储服务器

[root@nfs01 data]# rsync -avz --delete  /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

deleting data/ddd

deleting data/ccc

deleting data/bbb

deleting data/aaa

data/

data/a

data/b

data/c

data/d

data/e

data/f

data/g

sent  bytes  received  bytes  ,254.00 bytes/sec

total size is   speedup is 0.00

#再次查看远程存储服务器的备份数据内容发现 {aaa bbb ccc}这三个文件被删除了

[root@backup01 backup]# ls

data

[root@backup01 backup]# ls data/

a  b  c  d  e  f  g

8.7  限制速度推送数据（--bwlimit=KBPS）

#未限速

[root@nfs01 data]# dd if=/dev/zero of=test1 bs=1M count=

[root@nfs01 data]# rsync -avz   /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

data/

data/test1

sent , bytes  received  bytes  ,783.09 bytes/sec

total size is ,,  speedup is ,026.07

#限速

[root@nfs01 data]# rsync -avz --bwlimit=10k  /data rsync_backup@172.16.2.41::backup/ --password-file=/etc/rsync.password

sending incremental file list

data/

data/test1

sent , bytes  received  bytes  ,689.41 bytes/sec

total size is ,,  speedup is ,026.07