sersync+rsync实时数据同步 1.相关背景介绍 前面有关文章配置实现了rsync增量同步以及配置为定时同步,但是在实际生产环境中需要实时的监控数据从而进行同步(不间断同步),可以采取inotify-tools+rsync或者rsync+sersync进行实时同步. 以上两种方法的区别是: rsync+Inotify-tools (1):Inotify-tools只能记录下被监听的目录发生了变化(包括增加.删除.修改),并没有把具体是哪个文件或者哪个目录发生了变化记录下来: (2):rs…

Rsync(remote sync)远程同步工具,通过rsync可以实现对远程服务器数据的增量备份通过,但rsync自身也有缺陷,同步数据时,rsync采用核心算法对远程服务器的目标文件进行对比,只进行差异同步.我们可以想象一下,如果服务器的文件数量达到了百万甚至千万量级,那么文件对比是非常耗时的,而且发生变化的往往是其中很少的一部分,这是非常低效的方式.inotify的出现,可以缓解rsync不足之处,取长补短. 第一部分:inotify+rsync实时数据同步Inotify 是一种强大的.细…

一:环境 操作系统环境:redhat6.6 内核版本:2.6.32-358.el6.x86_64 rsync server:192.168.2.3(部署rsync server) rsync client:192.168.2.4(部署sersync) 特别说明: 我之前用rsync进行生产环境数据的同步,由于目录下每日会有上千个文件生成,所以目录本身就比较大,用rsync的进行无差异同步的时候发现就扫描目录的文件就需要很长时间,同步效率有些低,后面用inotify+rsync进行数据同步,有个问…

rsync即是能备份系统也是数据同步的工具. 在Jenkins上可以使用rsync结合SSH的免密登录做数据同步和分发.这样一来可以达到部署全命令化,不需要依赖任何插件去实现. 命令参考:http://man.linuxde.net/rsync 说明: rsync命令 是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.rsync使用所谓的“rsync算法”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快. rsy…

rysnc 命令用法:(OPTION-参数,USER-用户,HOST-IP地址,SRC-复制源位置,DEST-复制目标位置)Shell拉:rsync [OPTION] [USER@]HOST:SRC [DEST]rsync拉:rsync [OPTION] [USER@]HOST::[MODULE] [DEST]Shell推:rsync [OPTION] SRC [USER@]HOST:DESTrsync推:rsync [OPTION] SRC [USER@]HOST::DEST rsync 命令…

希望两台机器指定目录的数据保持一致 192.168.19.252(master)                 192.168.19.251(slave) /cache 拉复制            推复制 rsync的工作模式 C/S    client/server B/S    browse/server 拉复制 从服务器定期去主服务器获取数据 crontab+rsync 工作过程 1   从服务器发起连接                   ip  port 2   主服务器     …

rsync服务是一种高效的远程数据备份的工具,该服务的port号为873, 是Liunx下的一种非独立服务.由xinetd超级服务管理,取代监听873port. 长处: 1.rsync能够利用ssh和ssl远程控制进行连接远程主机进行备份.依赖sshd服务 2,能够实现增量备份,在第一次建立连接时进行完整备份,以后仅仅同步变化的数据 3.能够使用自己的socket来进行同步.能够在服务端设置password限制訪问. 缺点:不能进行实时同步,须要安装lsyncd工具来辅助进行实时同步. 配置步骤…

tar 选项  目标文件  源文件(1 2 3) tar cf **.tar file1 file2 file3 (默认情况下 cf选项只有归档没有压缩) tar xf 从归档中提取 创建tar的存档 压缩方式:z(gzip) .gz j(bzip2) .bz2  J(xz) .xz 归档过程中可用 -p 保留原有权限 tar czf file.tar.gz   file1 file2 file3 创建压缩文件 tar xzf file.tar.gz  文件路径 scp scp 本地文件 目标I…

(1):sersync 可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或 某一个目录的名字: (2):rsync 在同步的时候,只同步发生变化的这个文件或者这个目录(每次发生变化的数据相对 整个同步目录数据来说是很小的,rsync 在遍历查找比对文件时,速度很快),因此,效率很高. 小结:当同步的目录数据量不大时,建议使用 Rsync+Inotify-tools:当数据量很大(几百 G 甚至 1T 以上).文件很多时,建议使用 Rsync+sersync.…

Rsync+Inotify-tools (1):Inotify-tools 只能记录下被监听的目录发生了变化(包括增加.删除.修改),并没有 把具体是哪个文件或者哪个目录发生了变化记录下来: (2):rsync 在同步的时候,并不知道具体是哪个文件或者哪个目录发生了变化,每次都是对整 个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync 要对整个目录遍历查找对比文 件),因此,效率很低. 当同步的目录数据量不大时,建议使用 Rsync+Inotify-tools:当数据量很大(几百…