linux多服务器之间的目录文件同步
一、rsync是什么
在开始正式学习rsync之前，我们先来回答这个问题：rsync是什么。
rsync（remote synchronize）是Liunx/Unix下的一个远程数据同步工具。它可通过LAN/WAN快速同步多台主机间的文件和目录，并适当利用rsync算法（差分编码）以减少数据的传输。
rsync算法并不是每一次都整份传输，而是只传输两个文件的不同部分，因此其传输速度相当快。
除此之外，rsync可拷贝、显示目录属性，以及拷贝文件，并可选择性的压缩以及递归拷贝。
二、rsync的工作原理
1、客户端构造FileList，FileList包含了需要与服务器同步的所有文件信息对name->id（id用来唯一表示文件例如MD5）。
2、客户端将FileList发送到服务器。
3、服务器上rsync处理客户端发过来的FileList，构建新的NewFileList。其中根据MD5值比较，删除服务器上已经存在的文件信息对，只保留服务器上不存在或变化的文件。
4、客户端得到服务器发送过来的NewFileList，然后把NewFileList中的文件重新传输到服务器。
三、rsync优点
rsync有以下几个优点：
1）可以镜像保存整个目录树和文件系统。
2）可以很容易做到保持原来文件的权限、时间、软硬连接等。
3）无需特殊权限即可安装。
4）拥有优化的流程和比较高的文件传输效率。
5）可以使用shell（rsh、ssh）方式来传输文件。
6）支持匿名运行。
7）与scp相比，rsync传输速度绝对远远超过scp的传输速度。
我们在局域网中经常用rsync和scp传输大量mysql数据库文件，发现rsync传输文件速度至少要比scp快20倍以上。
所以如果需要在Liunx/Unix服务器之间互传海量数据时，建议选择rsync进行传输。
四、rsync认证方式
rsync有两种常用的认证方式，一种是rsync-daemon方式，另外一种是ssh方式。在平时使用过程，我们使用最多的是rsync-daemon方式。
注意：在使用rsync时，服务器和客户端都必须安装rsync程序。
五、开始实践
web1:10.80.11.243
web2:10.80.11.244
code:10.80.11.245
更新code服务器的代码后，自动同步到web1和web2,删除code服务器文件，web1和web2也删除
服务器端的安装（N台WEB都这样配置）
1、首先要求Linux内核在2.6以上，才支持inotify
[root@web1 html]# uname -a
Linux web1 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:35 EDT 2010 i686 i686 i386 GNU/Linux
2、检查是否安装rsync软件
[root@web1 html]# rpm -qa |grep rsync
rsync-2.6.8-3.1
如果没有的话，通过yum –y install rsync安装
3、新建rsync配置文件，该软件安装默认没有配置文件
#vim /etc/rsyncd.conf
motd file = /etc/rsyncd.motd
uid=root
gid=root
max connections=36000
use chroot=no
log file=/var/log/rsyncd.log
log format = %t %a %m %f %b
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
timeout = 300
[tongbu]
path=/var/www/html
list=yes
comment = this is comment
ignore errors = yes
read only = no
hosts allow = 10.80.11.245
hosts deny = *
auth users backup
secrets file = /etc/rsyncd.secrets
注：tongbu为发布模块，相当于路径的别名
hosts allow是只允许连接的IP
secrets file = /etc/rsyncd.secrets
这是密码文件，同步的用户为backup，下面创建同步用户
#useradd backup
#passwd backup
#vim /etc/rsyncd.secrets
backup:123456
格式为
用户名：密码
#chmod 600 /etc/rsyncd.secrets
设置只有root用户才能查看这个文件
4、启动服务
/usr/bin/rsync --daemon --config=/etc/rsyncd.conf
其他的WEB服务器配置和上面是一样的。如果需要开机启动，加入到/etc/rc.local
发布端的配置
1、发布端主要利用开源软件sersync，
网站为：
http://code.google.com/p/sersync/
#cd /usr/local/
#wget http://sersync.googlecode.com/files/sersync2.5RC1_32bit_binary.tar.gz
#tar –zxvf sersync2.5RC1_32bit_binary.tar.gz
#cd GNU-Linux-x86
2、修改配置文件
#vim confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<filter start="false">
<exclude expression="(.*).gz"></exclude>
<exclude expression="^info/*"></exclude>
</filter>
<inotify>
<delete start="true"/>
<create start="true"/>
</inotify>
<debug start="false"/>
<sersync>
<localpath watch="/var/www/html">
<remote ip="10.80.11.243" name="tongbu"/>
<remote ip="10.80.11.244" name="tongbu"/>
</localpath>
<rsync>
<auth start="true" users="backup" passwordfile="/etc/rsync.pas"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60min execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*).php"/>
<include expression="(.*).sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
/var/www/html为发布服务器的源码发布目录
主要修改红色标记部分，密码文件为/etc/rsync.pas
#vim /etc/rsync.pas
123456#
解释：123456代表的是Rsync server端的密码，并且要以"#"做结尾。如果有多个密码，增加多行就行。
#chmod 600 /etc/rsync.pas
3、启动服务
#./sersync2 -d –r
这种方式常驻进程，如果需要开机启动，加入到/etc/rc.local
这样只要修改发布服务器/var/www/html的文件，web服务器就会自动同步。
附录二：rsyncd.conf文件注释
全局参数
uid = root//运行RSYNC守护进程的用户
gid = root//运行RSYNC守护进程的组
use chroot = no //不使用chroot
max connections = 4 // 最大连接数为4
strict modes =yes//是否检查口令文件的权限
port = 873//默认端口873
模块参数
[backup] //这里是认证的模块名，在client端需要指定
path = /home/backup///需要做镜像的目录,不可缺少！
comment = This is a test //这个模块的注释信息
ignore errors//可以忽略一些无关的IO错误
read only = yes// 只读
list = no //不允许列文件
auth users = hening //认证的用户名，如果没有这行则表明是匿名，此用户与系统无关
secrets file = /etc/rsync.pas //密码和用户名对比表，密码文件自己生成
hosts allow = 192.168.1.1, 10.10.10 .10//允许主机
hosts deny = 0.0.0 .0/0 //禁止主机
#transfer logging = yes
注释：下面这些绿色文件是安装完RSYNC服务后自动生成的文件
pid file = /var/run/rsyncd.pid//pid文件的存放位置
lock file = /var/run/rsync.lock //锁文件的存放位置
log file = /var/log/rsyncd.log//日志记录文件的存放位置
原文链接：
https://blog.csdn.net/fclwd/article/details/61191519
识别图中二维码,领取python全套视频资料
linux多服务器之间的目录文件同步的更多相关文章
- 使用scp命令,不同服务器之间拷备文件
使用scp命令,不同服务器之间拷备文件 先将源服务器,目标服务器安装scp服务 yum -y install openssh-clients 命令格式 scp source dist usage: s ...
- 本地git仓库推送到服务器自建的git仓库实现目录文件同步教程
首先,先在服务器上安装git,如果有git的话就不用走这一步了 yum安装git [root@iZuf6fazwjb6lb3z82smzoZ ~]# cd src/ [root@iZuf6fazwjb ...
- linux服务器之间互传文件
1.传递单个文件 linux A 服务器 上的文件(假设文件为a.php) 复制到 linux B 服务器上(假设复制后的文件名为b.php) 格式为 scp 文件a的绝对路径 B服务器用户名@B ...
- linux 不同服务器之间复制文件
----------------------拷贝文件夹---------------------------------------------- 把当前文件夹tempA拷贝到 目标服务器10.127 ...
- linux Centos 服务器之间NFS文件共享挂载
linux Centos 6.9服务器之间文件共享挂载 目的:因为服务器设置了负载均衡,多服务器的文件上传必然要同步,这里的目的把服务器1设置为主文件服务器 服务器1:192.168.1.100(共享 ...
- 【Linux】服务器之间的免密登录脚本
在实际运维的过程中,经常需要用到免密登录,下面这个脚本实现服务器之间的免密登录,如下 比如,要实现A服务器与B.C.D服务器的免密登录,只需要将B.C.D服务器的IP地址写在serverlist.tx ...
- Linux常用命令详解-目录文件操作命令
来源:https://www.linuxidc.com/Linux/2018-04/151801.htm 现实中,服务器(包含Linux,Unix,Windows Server)一般都摆放在机房里,因 ...
- 在linux云服务器上运行Jar文件
在linux服务器上运行Jar文件时通常的方法是: $ java -jar test.jar 这种方式特点是ssh窗口关闭时,程序中止运行.或者是运行时没法切出去执行其他任务,有没有办法让Jar在后台 ...
- linux 两服务器之间的文件传输scp
Linux scp 命令用于 Linux 之间复制文件和目录. scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令. scp 是加 ...
随机推荐
- 编写自己的代码库（javascript常用实例的实现与封装）
https://segmentfault.com/a/1190000010225928
- android4.0.3源码之USB wifi移植心得
http://blog.csdn.net/eastmoon502136/article/details/7850157 http://forum.cubietech.com/forum.php?mod ...
- PLSQL 连接不上64位ORACLE数据库解决办法
http://it.oyksoft.com/post/6003/ huan jing bian liang TNS_ADMIN D:\OracleClient D:\OracleClient\TNS ...
- 微信小程序 - Util工具类
/utils/utils.js 已经扩展到App对象中,Page方法中直接使用 app.util.method(...) 调用. 1. 扩展String.replaceAll JS默认值提供re ...
- 使用css全面美化input标签
做网站时经常有这样那样的需要,要美化input ,于是CSS的美化必不可少.和程序人生的站长交流,他发给我这个. 下面是CSS样式 input { border:1px solid #B3D6EF; ...
- 从上面的集合框架图可以看到，Java 集合框架主要包括两种类型的容器，一种是集合（Collection），存储一个元素集合，另一种是图（Map），存储键/值对映射
从上面的集合框架图可以看到,Java 集合框架主要包括两种类型的容器,一种是集合(Collection),存储一个元素集合,另一种是图(Map),存储键/值对映射.Collection 接口又有 3 ...
- 出错的方法有可能是JDK，也可能是程序员写的程序，无论谁写的，抛出一定用throw
应对未检查异常就是养成良好的检查习惯. 已检查异常是不可避免的,对于已检查异常必须实现定义好应对的方法. 已检查异常肯定跨越出了虚拟机的范围.(比如“未找到文件”) 如何处理已检查异常(对于所有的已检 ...
- 剑指 offer set 25 求 1+2+...+n
题目 要求不能使用乘除法, for, while, if else, switch, case 等关键字 思路 1. 循环已经命令禁止, 禁用 if, 意味着递归也不能使用. 但即便如此, 我们仍然要 ...
- 说说M451例程讲解之定时器
关于定时器 相信很多人都不会陌生,无论是51还是32,任何微控制器,都会有定时器 定时器控制器包含 4 组 32-位定时器,TIMER0~TIMER3,提供用户便捷的计数定时功能.定时器可执行很多功能 ...
- java解析xml字符串（用dom4j）
package com.smsServer.Dhst; import java.util.HashMap; import java.util.Iterator; import java.util.Ma ...