1、RSYNC数据备份

1.1 rsync服务简介

rsync命令是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。

1.2 rsync特点和优势

  • rsync功能

  • 作为命令,实现本地-远程文件同步

  • 作为服务,实现本地-远程文件同步

  • rsync特点

  • 可以镜像保存整个目录树和文件系统

  • 可以保留原有的权限(permission,mode),owner,group,时间(修改时间,modify time),软硬链接,文件acl,文件属性(attributes)信息等

  • 传输效率高,使用同步算法,只比较变化的

  • 支持匿名传输,方便网站镜像;也可以做验证,加强安全

  • rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽

  • rsync同类服务类型

  • sync 同步:刷新文件系统缓存,强制将修改过的数据块写入磁盘,并且更新超级块。

  • async 异步:将数据先放到缓冲区,再周期性(一般是30s)的去同步到磁盘。

  • rsync 远程同步:remote synchronous

  • 常见备份分类

    • 完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地
    • 差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
    • 增量备份:备份上次备份以后有变化的数据.(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

注意: 通常结合shell脚本使用,效率更高。官方网站:https://rsync.samba.org/

1.3 rysnc运行模式简介

  • 运行模式和端口

  • 采用C/S模式(客户端/服务器模式)[ 就是一个点到点的传输,直接使用rsync命令 ]

  • 端口873

  • 相关名词解释

  • 发起端:负责发起rsync同步操作的客户机叫做发起端,通知服务器我要备份你的数据

  • 备份源:负责相应来自客户机rsync同步操作的服务器叫做备份源,需要备份的服务器

  • 服务端:运行rsyncd服务,一般来说,需要备份的服务器

  • 客户端:存放备份数据

  • rysncd服务工作原理:rysncd服务通过Xinetd管理,使用rsyncd服务来同步是先通过xinetd监听873号端口,如果rsync进来的是873号端口,那么xinetd就会通知它所管辖的rsync服务来做回应,接下来就是rsync俩服务于之间的通讯,如下图所示:

1.4 数据同步方式

两种数据同步方式:

  • push推方式: 一台主机负责把数据传送给其他主机,服务器开销很大,比较适合后端服务器少的情况
  • pull拉方式: 所有主机定时去找一主机拉数据,可能就会导致数据缓慢

  • 常用的数据同步方式:
  • 推:目的主机配置为rsync服务器,源主机周期性的使用rsync命令把要同步的目录推过去(需要备份的机器是客户端,存储备份的机器是服务端)rsync -avz 源路径 user@远端服务器IP:目的路径

[root@centos7-127 tmp]# mkdir test1 # 创建测试文件见test1
[root@centos7-127 tmp]# cp /etc/passwd ./test1/ # 复制/etc/passwd作为测试文件
[root@centos7-127 tmp]# ll ./test1/
总用量 4
-rw-r--r-- 1 root root 2567 9月 17 17:43 passwd
[root@centos7-127 tmp]# rsync -avz /tmp/test1 root@192.168.87.128:/tmp/ # 将127上的/tmp/test1推到128的/tmp目录下
root@192.168.87.128's password: # 输入远端服务器root密码
sending incremental file list
test1/
test1/passwd sent 1,127 bytes received 39 bytes 155.47 bytes/sec
total size is 2,567 speedup is 2.20 # 传输完成
[root@centos7-128 tmp]# ll ./test1 # 在128上查看发现数据推送成功
总用量 4
-rw-r--r-- 1 root root 2567 9月 17 17:43 passwd
  • 拉:源主机配置为rsync服务器,目的主机周期性的使用rsync命令把要同步的目录拉过来(需要备份的机器是服务端,存储备份的机器是客户端)rsync -avz user@远端服务器IP:源路径 目的路径

[root@centos7-127 tmp]# rsync -avz root@192.168.87.128:/tmp/test/ /tmp/test # 从128拉取数据
root@192.168.87.128's password:
receiving incremental file list
./
1.txt
2.txt
3.txt
4.txt
5.txt
6.txt
7.txt
8.txt
9.txt
a.txt
b.txt
c.txt
d.txt
e.txt
f.txt sent 312 bytes received 834 bytes 152.80 bytes/sec # 数据传输完成
total size is 0 speedup is 0.00 [root@centos7-127 tmp]# ll ./test # 查看发现数据拉取成功
总用量 0
-rw-r--r-- 1 root root 0 9月 16 10:38 1.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 2.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 3.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 4.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 5.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 6.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 7.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 8.txt
-rw-r--r-- 1 root root 0 9月 16 10:38 9.txt
-rw-r--r-- 1 root root 0 9月 16 10:26 a.txt
-rw-r--r-- 1 root root 0 9月 16 10:26 b.txt
-rw-r--r-- 1 root root 0 9月 16 10:26 c.txt
-rw-r--r-- 1 root root 0 9月 16 10:26 d.txt
-rw-r--r-- 1 root root 0 9月 16 10:26 e.txt
-rw-r--r-- 1 root root 0 9月 16 10:26 f.txt

2 Rsync实验测试

2.1 实验环境说明

|:-

centos7服务搭建常用服务配置之二:Rsync+sersync实现数据实时同步的更多相关文章

  1. CentOS7下Rsync+sersync实现数据实时同步

    近期公司要上线新项目,后台框架选型我选择当前较为流行的laravel,运行环境使用lnmp. 之前我这边项目tp32+apache,开发工具使用phpstorm. 新建/编辑文件通过phpstorm配 ...

  2. CentOS7+rsync+sersync实现数据实时同步

    一.全网数据备份方案 1.需要备份的文件目录有(原则上,只要运维人员写入或更改的数据都需要备份)./data,/etc/rc.local,/var/spool/cron/root等,根据不同都服务器做 ...

  3. centos7服务搭建常用服务配置之一:SSH

    目录 1 SSH服务协议 1.1 ssh服务协议说明 1.2 ssh服务工作机制 1.3 ssh加密技术说明 1.3.1 ssh实现安全链接建立,利用要是和锁头 1.3.2 ssh加密算法 1.4 s ...

  4. centos7中搭建ftp服务

    博客搬家: centos7中搭建ftp服务 最近想和同学共享一些文件资源,于是在实验室服务器上搭建个ftp服务,本博客记录一下配置的流程.过程基本是参照别人的方法来做的,博客也是在别人博客基础上修改的 ...

  5. centos 配置rsync+inotify数据实时同步2

    一.Rsync服务简介 1. 什么是Rsync 它是一个远程数据同步工具,它在同步文件的同时,可通过LAN/WAN快速同步多台主机间的文件.Rsync使用所谓的“rsync算法”来使本地和远程两个主机 ...

  6. CentOS7 Rsync服务搭建-Rsync+Inotify架构实现实时同步

    一.rsync 概念 1.rsyncrsync是类unix/linux系统下的数据镜像备份工具.使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH.rsync主机同 ...

  7. centos7下搭建nfs服务

    现在有3台服务器 s1(主),s2(从), s3(从)需要实现文件实时同步,我们可以安装Nfs服务端和客户端来实现! 一.安装 NFS 服务器所需的软件包: yum install -y nfs-ut ...

  8. Linux(Centos7) 实例搭建 FTP 服务

    本文以 CentOS 7.2 64位系统为例,使用 vsftpd 作为 FTP 服务端,FileZilla 作为客户端.指导您如何在 Linux 云服务器上搭建 FTP 服务. 操作步骤 安装 vsf ...

  9. Centos7下搭建SVN服务,本地提交代码自动同步到WEB目录

    1.安装SVN服务[root@bogon ~]# yum -y install subversion 2.查看svnserve安装目录[root@bogon ~]# whereis svnserves ...

随机推荐

  1. 关于matlab GUI 的一些总结

    最近在 用matlab做一个GUI的用户界面 大多都是百度出来 摸索的学习 总结一下遇到的一些问题和解决方法 一: 在文本框动态显示文本 (保留之前的文本并显示当前文本内容): 在文本框显示文本 基本 ...

  2. Django基础之中间件

    1. 引入 在之前学习的过程中,已经学会了给视图函数加装饰器来判断用户是否登录,把没有登录的用户请求跳转到登录页面. 我们通过给几个特定视图函数加装饰器实现了这个需求. 但是以后添加的视图函数可能也需 ...

  3. linux安装maven简易步骤

    版本要求maven3.6.1 软件下载 wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3 ...

  4. ubuntu 16.04 脚本开机自启动

    1.首先编写一个shell脚本文件,例如python_self_start.sh (nohup & 指定后台运行) #!/bin/bash nohup python3 /home/senset ...

  5. 卸载Ambari集群

    清理ambari安装的hadoop集群 本文针对redhat或者centos 对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群. 对于安装了很多hadoop组 ...

  6. js 移除数组中的内容

    使用方法:arr.splice(arr.indexOf(ele),length):表示先获取这个数组中这个元素的下标,然后从这个下标开始计算,删除长度为length的元素 这种删除方式适用于任何js数 ...

  7. THREE.js(一)

    //创建场景 var scene = new THREE.Scene(); //透视摄像机(视野角度,长宽比,远剪切面,进剪切面,) var camera = new THREE.Perspectiv ...

  8. jmeter-Charles抓包显示的请求方式错误了,难道

    抓包显示的请求方式为get,但是get一直报错见上图 将get修改为post就正确了

  9. SQLW3School-高级:SQL TOP 子句

    ylbtech-SQLW3School-高级:SQL TOP 子句 1.返回顶部 1. TOP 子句 TOP 子句用于规定要返回的记录的数目. 对于拥有数千条记录的大型表来说,TOP 子句是非常有用的 ...

  10. [Java复习] Spring Boot

    什么是Spring Boot? 传统SSH/SSM框架配置繁琐,有很多重复的模板配置,效率不高. Spring Boot快速创建可独立运行,生产级别的Spring应用程序. 主要是基于Spring家族 ...