Rsync + Crontab实现定时文件同步(首次全量+后续增量) 2015-04-14 19:02:11 标签:增量更新 rsync crontab 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://lu2yu.blog.51cto.com/10009517/1632410 一.简介 在配置HA的时候,需要配置多个节点的配置,节点间的配置很多时候都是类似重复的,也许可以通过scp等手段实现,但是每次的更改都需要手动scp也显…

NFS 网络文件系统 功能: 用户可以像访问自己的本地文件系统一样使用网络中的远端系统上的文件 原理: 用户进程-->RPC服务(portman)-->tcp/ip协议栈-->远端主机RPC服务 后 -->远端NFS服务-->远端主机本地磁盘数据-->NFS服务-->tcp/ip协议栈-->本地数据 优点: 易于实现前段服务器代理分流的时候处理sission以及数据查找时找不到数据等问题,且同时起到了就算任何一个web服务器宕机都不影响数据的访问 缺点: 单…

一      Rsync + Sersync  实时同步介绍 1.Rsync 服务搭建介绍 云机上搭建Rsync server,在本地搭建Rsync Clinet. 2. Sersync 服务搭建介绍 在本地服务器上搭建 Sersync  Server  检测本地的ftp目录变化,实时同步到云机上 二.Rsync编译安装 1.检查本机是否存在 [root@云机 ~]# rpm -qa  rsync rsync-3.0.6-12.el6.x86_64 2.卸载 [root@云机 ~]# yum …

前面总结过一篇全量备份/增量备份/差异备份说明,下面介绍下linux下rsync和tar两种增量备份的操作记录: 1)rsync备份 rsync由于本身的特性,在第一次rsync备份后,以后每次都只是传内容有改变的部分,而不是全部传.所以,rsync在做镜像方面是很不错的,只传增量,节省带宽.时间. 常规本地rsync备份命令可以是: # rsync -az --delete SRC DST 其中: -z 压缩 -a 简单理解就是保持一致性 --delete 严格保证DST内容与SRC一致,即D…

为了保证公司知识管理服务器数据的安全性,所以计划每天同步confluence服务器上面数据 一.安装rsync服务端 1.查看是否安装rsync ps -ef | grep rsync 2.添加配置文件 rsync没有默认配置文件,需要手动创建/etc/rsyncd.conf 服务端配置文件/etc/rsyncd.conf 内容如下: 配置两个同步的目录data1,data2 [root@host-10-0-100-156 ~]# cat /etc/rsyncd.conf pid file=/v…

一.安装rsync服务端 1.查看是否安装rsync ps -ef | grep rsync 系统一般默认已安装,安装方法: yum -y install rsync 2.添加配置文件 rsync没有默认配置文件,需要手动创建/etc/rsyncd.conf 服务端配置文件/etc/rsyncd.conf 内容如下:设置了两个同步目录. [root@host-10-0-100-156 bin]# cat /etc/rsyncd.conf pid file=/var/rsync/rsync.pid…

采用binlog日志的好处 掌控所有更改操作,必要时可用于恢复数据 数据库主从复制的必要条件 [root@localhost~]# vim /etc/my.cnf [mysqld] .. .. log-bin=mysql-bin //启用二进制日志,并指定前缀 .. ..[root@dbsvr1 ~]# service mysqld restart 确认binlog日志文件新启用binlog后,每次启动MySQl服务都会新生成一份日志文件: [root@localhost~]# ls /var/…

1.数据库备份与恢复 逻辑备份工具 mysqldump 使用mysql 恢复数据库   1.1备份MySQL服务器上的所有库 ]# mysqldump -u root -p123456 --all-databases > /root/alldb.sql l]# file /root/alldb.sql  //确认备份文件类型 /root/alldb.sql: UTF-8 Unicode English text, with very long lines   1.2只备份指定的某一个库 ]# m…

环境说明: 主机ip:192.168.0.201 需备份的目录:/opt/mail 备份机器ip:192.168.0.215 1.编辑/etc/rsyncd.conf文件(etc目录不存在的话,需要手动创建) 参数说明: #全局参数设置:这部分设置的参数影响整个程序的运行 uid = root                           #rsync运行时的用户ID (关于用户ID和用户组ID的设置只要保证具有读取要同步文件和文件夹的权限即可) gid = root           …

rsync -azvP /rsync/ --password-file=/etc/rsyncd/rsyncd.password  ruiy@192.168.11.199:/rsync/ rsync -azvP /rsync/ --password-file=/etc/rsyncd/rsyncd.password -e "ssh -p 9095" ruiy@192.168.11.182:/rsync/…

1.增量备份: 增量数据是从上次全量备份之后,更新的新数据,对于mysql来说,binlog日志就是mysql的增量数据: (1)按天进行备份: 周一00点全量备份 周二00点全量备份 ...... 01.sql.gz 02.sql.gz ...... 周一增量备份 周二增量备份 ...... mysql-bin.000001 mysql-bin.000002 mysql-bin.000003 mysql-bin.index mysql-bin.000004 mysql-bin.000005 m…

rsync 远程同步: 一款快速增量备份工具 Remote Sync,远程同步 支持本地复制,或者与其他SSH.rsync主机同步 作用:做数据备份 备份方式:      完全备份      增量备份 rsync客户端 好处: 优点:   第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.支持增量备份          选择性的保持 : 符号链接,硬链接,文件属性,权限 及时间 等               传输前执行压缩.适用于异地备份 ,镜像服务器等应用       …

使用inotifywait监控文件变动 inotifywait是 inotify-tools 包中提供的一个工具,它使用 inotify API 来监控文件/目录中的变动情况. 在archlinux上,我们可以使用下面命令来安装 sudo pacman -S --noconfirm inotify-tools 平时 inotifywait 会挂起在那里,直到文件/目录发生了要引起关注的事件后,它会退出并输出事件发生的场所.事件的名称以及引起事件的文件(当事件发生在目录上时才会输出). inoti…

今日内容 rsync 内容详细 上一篇内容问题 1.yum源问题 2.VPN链接正常,但是没办法通过172 3.VPN链接时,出现了DNS错误 4.掩码不对 5.openvpn开启错误 复制的命令 1.cp 本机复制: 只能在本地计算机中复制目录 2.scp # ssh 自带的命令 远程复制: 可以上传文件到远程服务器,有两种复制方式 1.推(本地上传到远程服务器): scp <文件路径> <登录用户>@<ip>:<目标路径> [root@m01 ~]# s…

CentOS 6.5 rsync+inotify实现数据实时同步备份 rsync    remote sync 远程同步,同步是把数据从缓冲区同步到磁盘上去的.数据在内存缓存区完成之后还没有写入到磁盘中去.所以有时候要同步到磁盘中去的,而rsync跟复制差不多能将一个文件从一个地方复制到另外一个地方,但是他也可以实现跨主机复制,兼具了cp和scp的功能,但是在跨主机时不具备scp的加密功能.    rsync有个特点,就是当你用rsync复制或跨主机复制时如果另一端也有一个同名的文件,他会先比较…

一.全量备份 环境:一台主SVN,一台备SVN(主要提供备份功能),后续可通过钩子脚本进行实时备份,后续发给大家. 工作原理:通过svn的hotcopy命令过行热备份,并进行一系列的检查,备份后通过rsync推送到备份机上. 脚本如下: ======= #!/bin/bash#Version: V2 #Date: 2015-02-03 #Author: wang CONFDIR=/usr/local/httpdBASEDIR=/home/xxx/scripts/svn_full_bakSVNCM…

参考博文: 参考1:CentOS6.5实现rsync+inotify实时同步 参考2:inotify-tools+rsync实时同步文件安装和配置 CentOS 6.3下rsync服务器的安装与配置  对 rsync命令解释的很详细 rsync 常见错误与解决方法整理 参考1比较详细,但是有点问题,参考2主服务器端比较详细  但是有小问题  把二者结合培正成功 注意:从主服务器拷贝到从服务器,千万别搞混了. 1.首先从主服务器A开始 需要确定你的系统是否支持inotify: 在安装inotify…

!!!在安装前要先确保,rsync daemon服务配置成功,在安装inotify-tools前先确认你的linux内核是否达到了2.6.13,并且在编译时开启CONFIG_INOTIFY选项,也可以通过以下命令检测. 一.rsync + inotify 组合的起源 Rsync(remote sync)远程同步工具,通过rsync可以实现对远程服务器数据的增量备份同步,但rsync自身也有瓶颈,同步数据时,rsync采用核心算法对远程服务器的目标文件进行比对,只进行差异同步.我们可以想象一下,如…

根据容灾备份系统对备份类别的要求程度,数据库备份系统可以分为数据级备份和应用级备份.数据备份是指建立一个异地的数据备份系统,该系统是对原本地系统关键应用数据实时复制.当出现故障时,可由异地数据系统迅速恢复本地数据从而保证业务的连续性.应用级备份比数据备份层次更高,即在异地建立一套完整的.与本地数据库系统相当的备份数据库应用系统,同时备份本地数据.可以同本地应用系统互为备份,也可与本地应用系统共同工作,在灾难故障出现后,远程应用系统迅速接管或承担本地应用系统的业务运行.本文基于Rsync算法设计实…

rsync服务是一种高效的远程数据备份的工具,该服务的port号为873, 是Liunx下的一种非独立服务.由xinetd超级服务管理,取代监听873port. 长处: 1.rsync能够利用ssh和ssl远程控制进行连接远程主机进行备份.依赖sshd服务 2,能够实现增量备份,在第一次建立连接时进行完整备份,以后仅仅同步变化的数据 3.能够使用自己的socket来进行同步.能够在服务端设置password限制訪问. 缺点:不能进行实时同步,须要安装lsyncd工具来辅助进行实时同步. 配置步骤…

原文转自http://dl528888.blog.51cto.com/2382721/771533/ 之前做了“ssh信任与scp自动传输脚本”的技术文档,此方案是作为公司里备份的方法,但在实际的运行中,由于主服务器在给备份服务器传输的时候,我们的主服务器需要备份的文件是实时.不停的产生的,造成不知道主服务器给备份服务器传输了多少文件,磁盘空间就那么大,做备份的原因:一个是为了保持文件,另外一个是解决主服务器的磁盘饱满问题,但由于不知道备份服务器到底接收了多少文件,所以主服务器里的文件不敢删除(…

第1章 Rsync简介 1.1 Rsync基本概述 rsync是一款开源的备份工具,可以在不同主机之间进行同步,可实现全量备份与增量备份 全量:将全部数据,进行传输覆盖 增量:只传输差异部分的数据 1.2 实现增量复制的原理 Rsync通过其独特的“quick check”算法,实现增量传输数据 在同步备份数据时,默认情况下,Rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要指定相应的参数,甚至可…

xtrabackup是Percona公司CTO Vadim参与开发的一款基于InnoDB的在线热备工具,具有开源,免费,支持在线热备,备份恢复速度快,占用磁盘空间小等特点,并且支持不同情况下的多种备份形式.xtrabackup的官方下载地址为http://www.percona.com/software/percona-xtrabackup. xtrabackup包含两个主要的工具,即xtrabackup和innobackupex,二者区别如下: xtrabackup只能备份innodb和xtr…

笔记 1.晨考 1.VPN的搭建步骤 2.vpn中的iptables是什么作用? 网络转发 2.昨日问题 1.yum源问题 2.VPN链接正常,但是没办法通过172 3.VPN链接时,出现了DNS错误 4.掩码不对 5.openvpn开启错误 3.今日内容 1.rsync 2.备份方式 cp : 本机复制 scp : 远程复制 推(本地上传到远程服务器): scp 1.txt root@ip:[路径] [root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/…

Rsync+inotify实时备份数据 rsync在同步数据的时候,需要扫描所有文件后进行对比,然后进行差量传输,如果文件达到了百万或者千万级别以上是,扫描文件的时间也很长,而如果只有少量的文件变更了,那么此时rsync是非常低效的.所以此时需要一个实时监控文件变化的软件结合rsync来做实时数据备份. what's inotify inotify是一个强大的,细粒度的,异步的文件系统事件监控机制,linux内核从2.6.13开始加了这个功能,可以通过监控文件系统添加,删除,修改移动等事件,利用…

前言 我公司是电子商务公司,全部是linux系统,每天的网站数都在增加,为了保证安全,需要建立一个远程容灾系统,将网站数据每天凌晨1点备份到远程服务器上,由于数据量大,每天进行进行增量备份,仅仅备份当天增加数据,当网站出现故障后,可以通过备份最大程度地恢复数据. 一 解决方案 我们这里假设有A B两地的服务器,A地的服务器为网站服务器,B地服务器为远程容灾服务器,A服务器上运行着rsync的服务端,B地服务器上运行着rsync的客户端,这样,B地服务器上就可以通过系统守护进程crontab来定时…

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足.首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式.其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应…

mysql:5.6.29xtrabackup:2.2.10mysql数据目录:/data/mysqlmysql备份目录:/data/dbbak/ #确保有足够的磁盘空间 官方文档:https://www.percona.com/doc/percona-xtrabackup/2.2/innobackupex/incremental_backups_innobackupex.html 1.安装依赖 yum -y install libaio perl-Time-HiRes perl-DBD-MySQ…

第1章 数据实时同步介绍 1.1 什么是实时同步:如何实现实时同步 A. 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 B. 发现目录中数据产生变化,就利用rsync服务推送到备份服务器上 1.2 实现实时同步的方法 inotify+rsync 方式实现数据同步 sersync 方式实现实时数据同步 1.2.1 实时同步原理介绍 1.3 inotify+rsync 方式实现数据同步 1.3.1 Inotify简介 Inotify是一种强大的,细粒度的.异步的文件系统事件监…

Rsync同步.Rsync+Lsync实时同步 原创博文http://www.cnblogs.com/elvi/p/7658049.html #!/bin/sh #Myde by Elven @ #centos 6x , centos 7x #Rsync同步.Rsync+Lsync实时同步 ### 全局配置 #Rsync服务端配置 RS_IP=192.168.20.1 BkDir=/www/backup #Lsync目录配置 Source="/www/backup/tobak/" Ta…