rsync备份(一)

1.Rsync基本概述

)概念
     rsync：remote sync
)开源
)备份
)https://rsync.samba.org/
     samba服务器：文件共享,cifs,common internet file system
)端口号: TCP
)运行模式：
     C/S：客户端、服务端模式
     B/S：浏览器、服务端模式
)常见备份方式
     完全备份：对所有数据做一次全备份
     增量备份：只备份离上次备份变化的数据*****
     差异备份：备份是上一次 完全备份后变化的数据

     常见的备份组合
         完全+增量：1次完全+多次增量
         完全+差异：1次完全+1次差异

2.Rsync应用场景

    数据同步的方式
        推：push,上传(upload)
            将客户端的数据上传到rsync服务器(backup服务器)
        拉：pull,下载(download)
            将rsync服务器(backup服务器)的数据下载到客户端
        推拉是由客户端发起的

3.Rsync传输模式

Rsync大致使用三种主要的数据传输方式

Rsync命令对应选项
-a                  #归档模式传输,等于-tropD1
-v                  #详细模式输出,打印速率,文件数量等
-z                  #传输时进行压缩以提高效率
-r                  #递归传输目录及子目录,即目录下得所有目录都同样传输。
-t                  #保持文件时间信息
-o                  #保持文件属主信息
-p                  #保持文件权限
-g                  #保持文件属组信息
-l                  #保留软连接
-P                  #显示同步的过程及传输时的进度等信息
-D                  #保持设备文件信息
-L                  #保留软连接指向的目标文件
-e                  #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN   #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=       #限速传输
--partial           #断点续传
--delete            #让目标目录和源目录数据保持一致   

本地方式

rsync [OPTION]... SRC [SRC]... DEST
    类似cp命令
//文件同步
[root@backup ~]# ll /data/
总用量
-rw-r--r--  root root  1月   : passwd
[root@backup ~]# rsync -avz /etc/fstab /data/
sending incremental file list
fstab

//目录同步1：
[root@backup ~]# rsync -avz /data/ /opt/
sending incremental file list
./
fstab
passwd

//目录同步2：
[root@backup ~]# rsync -avz /data /opt/
sending incremental file list
data/
data/fstab
data/passwd

总结：如果要同步到是目录里面的内容,命令中目录的后面必须加"/"
如果要同步的是目录本身及其内容，则命令中只需要写目录名

完全同步：加--delete,源和目标内容完全一致
[root@backup ~]# rsync -avz --delete /null/ /opt/ #慎用

三种备份方式概念如下图：

远程方式

Access via remote shell： 远程通道传输
     Pull：rsync [OPTION]... [USER@]HOST:SRC [DEST]
     Push：rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

    使用的ssh协议,过程是加密,类似scp命令(secure cp)
    tcp传输过程,每传输一个数据都会有连接的建立、维护、断开过程。
    [root@backup ~]# rsync -avz /etc/hosts root@172.16.1.41:/etc/

    [root@backup ~]# rsync -avz root@172.16.1.41:/root/hello.txt 

    问题：
    .用户权限问题
    [root@nfs ~]# rsync -avz oldboy@172.16.1.51:/root/hello.txt .
     receiving incremental file list
     rsync: change_dir "/root" failed: Permission denied ()
     .用户身份暴露了,安全隐患
    .文件路径暴露了,安全隐患

守护进程 *****
rsync自身非常重要的功能(不使用系统用户,更加安全)

服务端的配置过程：

.安装软件包
        yum install -y rsync
    .修改配置文件
        )查找配置文件
        [root@backup ~]# rpm -qc rsync
         /etc/rsyncd.conf
         /etc/sysconfig/rsyncd
        [root@backup ~]# rpm -ql rsync | grep /etc/
         /etc/rsyncd.conf
         /etc/sysconfig/rsyncd
         )修改配置文件
         #全局模块
         uid=rsync                         --- 运行进程的用户
         gid=rsync                         --- 运行进程的用户组
         port=                          --- 监听端口
         fake super=yes                    --- 无需让rsync以root身份运行,允许存储文件的完整属性(.1版本之后)
         use chroot=no                      --- 关闭假根功能
         max connection=                --- 最大连接数
         timeout=                       --- 超时时间
         ignore errors                     --- 忽略错误信息
         read only=false                   --- 对备份数据可读写
         list = false                      --- 不允许查看模块信息
         auth users=rsync_backup           --- 定义虚拟用户,作为连接认证用户
         secrets file=/etc/rsync.passwd    ---定义rsync服务用户连接认证密码文件路径
         log file=/var/log/rsyncd.log

         #局部模块
         [backup]              --- 定义模块信息
         comment = commit      --- 模块注释信息
         path = /backup        --- 定义接受备份数据目录
    .创建程序用户
        useradd -M -s /sbin/nologin rsync
    .创建目录，并修改所属
        mkdir /backup
        chown -R rsync.rsync /backup/
    .创建虚拟用户认证文件
        echo "rsync_backup:1" >/etc/rsync.passwd
        chmod  /etc/rsync.passwd
    .启动服务
        systemctl start rsyncd
        systemctl enable rsyncd
    注意：
        一定要查看是否启动成功

[root@backup ~]# systemctl status rsyncd
● rsyncd.service - fast remote file copy program daemon
   Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled)
   Active: active (running) since 六 -- :: CST; 1min 35s ago
 Main PID:  (rsync)
   CGroup: /system.slice/rsyncd.service
           └─ /usr/bin/rsync --daemon --no-detach
[root@backup ~]# lsof -i:
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync    root    3u  IPv4        0t0  TCP *:rsync (LISTEN)
rsync    root    5u  IPv6        0t0  TCP *:rsync (LISTEN)
[root@backup ~]# ss -antp | grep rsync
LISTEN                       *:                      *:*                   users:(("rsync",pid=,fd=))
LISTEN                    [::]:                   [::]:*                   users:(("rsync",pid=,fd=))
[root@backup ~]# netstat -antp | grep rsync
tcp               0.0.0.0:             0.0.0.0:*               LISTEN      /rsync
tcp6              :::                  :::*                    LISTEN      /rsync
    

客户端验证过程

    .安装rsync包
        yum install -y rsync
    .验证
     Pull：rsync [OPTION]... [USER@]HOST::SRC [DEST]
     Push：rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
    )推：上传
    客户端推送/etc/下的所有内容至Rsync服务器
    )[root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.51::backup
    拉：下载
    在客户端创建下拉文件
    [root@backup ~]#cp /var/log/messages /var/log/secure /etc/fstab /backup/
    客户端从服务端将backup模块下的内容拉到本地
    [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/
    .免密
    方法一：在客户端上创建密码文件,并给600的权限
    echo "" >/etc/rsync.passwd && chmod  /etc/rsync.passwd
    [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/ --password-file=/etc/rsync.passwd
    方法二：定义变量
    [root@nfs ~]# export RSYNC_PASSWORD=
    [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/
    

4.Rsync服务实践
排除注意：

.如果服务端密码文件没有修改权限为600，
    [root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.51::backup
    @ERROR: auth failed on module backup
    rsync error: error starting client-server protocol (code ) at main.c() [sender=3.1.]
    可以通过查找/var/log/messages
    Jan  :: backup rsyncd[]: secrets file must not be other-accessible (see strict modes option)
    表示权限的问题：
    解决方法：chmod  /etc/rsync.passwd

    .需要考虑服务端下拉的文件权限，主要是由于读权限
    [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/
     Password:
     receiving incremental file list
     rsync: failed to read xattr user.rsync.%stat for "messages" (in backup): Permission denied ()
     rsync: failed to read xattr user.rsync.%stat for "secure" (in backup): Permission denied ()
     ./
     rsync: send_files failed to open "messages" (in backup): Permission denied ()
     rsync: send_files failed to open "secure" (in backup): Permission denied ()