众多数据库服务器的管理过程中,在不同服务器间的文件传输是免不了的.您可以使用scp命令或FTP方法完成文件的发送和接收,这篇文章我将给大家介绍另外一种方法,这就是rsync命令.rsync是文件传输程序,它的功能和算法描述可以参考维基百科中的介绍.参考链接:http://zh.wikipedia.org/zh-cn/Rsync rsync也分服务器端和客户端,使用man查看帮助信息,我们发现rsync有六种不同的工作模式: Local:  rsync [OPTION...] SRC... [DE

最近机器迁移,需要备份文件,但各个机器间不能穿梭,即无法通过scp来传输文件, 在运维的建议下,选用了rsync作为传输的工具. 默认情况Ubuntu安装了rsync服务,但在/etc下没有配置文件,一般情况可以copy示例文件到/etc下. 配置无帐号登录的示例如下,需要主要高亮的部分. [mail] comment = public archive path = /tmp/mail/ use chroot = no # max connections= lock file = /var/lo

问题 rsync用来同步数据非常的好用,特别是增量同步.但是有一种情况如果不增加特定的参数就不是很好用了.比如你要同步多个几十个G的文件,然后网络突然断开了一下,这时候你重新启动增量同步.但是发现等了好久都没有进行数据传输,倒是机器的IO一直居高不下. 原因 rsync具体的增量同步算法不太清楚.根据它的表现来看,可能在增量同步已经存在的一个文件时,会校验已传输部分数据是否已源文件一致,校验完成才继续增量同步这个文件剩下的数据.所以如果对一个大文件以这样的算法来增量同步是非常花时间并且占用IO资

众多数据库服务器的管理过程中,在不同服务器间的文件传输是免不了的.您可以使用scp命令或FTP方法完成文件的发送和接收,这篇文章我将给大家介绍另外一种方法,这就是rsync命令.rsync是文件传输程序,它的功能和算法描述可以参考维基百科中的介绍.参考链接:http://zh.wikipedia.org/zh-cn/Rsync 我来通过实验给大家展示一下rsync命令的常用方法.这里我们演示使用的操作系统是Linux,rsync已经预装好.如果是AIX操作系统,需要单独在IBM网站下载安装包安装

rsync -avz filename servername:/filename --exclude '*.log' --exclude '*.pyc' --exclude '*.db' --exclude 'env' rsync的选项说明. -v:显示rsync过程中详细信息.可以使用"-vvvv"获取更详细信息. -P:显示文件传输的进度信息.(实际上"-P"="--partial --progress",其中的"--progres

scp传文件的话如果出错就得重新来过, 用rsync可以实现断点上传的功能   大概就是这样用:  rsync -P --rsh=ssh home.tar 192.168.205.34:/home/home.tar   传输的文件会隐藏起来, 用ls -a查看. 如果中途出错, 再次运行同样的命令上传就可以了.

1.scp 限速100KB/s scp -l 1000 test root@192.168.1.104 此时的传输速率就是1M/8=100KB左右 2.rsync 限速100KB/s rsync -auvzP --bwlimit=100 本地文件 远程文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . z:压缩 u:只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时 P:是综合了--partial --progress两个参数,

1.通过ssh执行rsync(需要密码) 通过ssh帐户(需要密码)执行rsync,将文件同步镜像到远程服务器.下面这个例子将本地的/home/ramesh同步到远程目录/backup/ramesh(服务器地址192.168.200.10).执行以下操作时,服务器将会提示需要用户使用密码登录. rsync -avz -e ssh /home/ramesh/ ramesh@192.168.200.10:/backup/ramesh/ 2.使用ssh-keygen生成密匙 现在我们来设置ssh,以便

本篇接着介绍网络相关命令:wget 文件下载工具.curl 网络数据传输工具.rsync 文件传输工具等. 本篇接着介绍网络相关命令 1.wget 文件下载工具 wget [option]... [URL]... wget是一个非交互的下载器,支持HTTP, HTTPS和FTP协议,也可以使用代理.所谓'非交互'意思是说,可以在一个系统中启动一个wget下载任务,然后退出系统,wget会在完成下载(或出现异常)之后才退出,不需要用户参与. [root@centos7 temp]# wget ht

测试环境 1．1服务器硬件信息 1．2 服务器软件信息 1．3 Rsync所能够支持的功能 (1)支持断点续传 (2)支持使用ssh传输加密 (3)支持128位MD4校验(3.0以后版本使用MD5加密) (4)支持镜像 (5)支持限速 (6)支持目录层级递归拷贝 1．4常用Rsync参数详解 -a, --archive It is a quick way of saying you want recursion and want to preserve almost everything. -r

1.背景 1)        一个作为服务器端:VM3(IP: 3.9.8.151) 2)        一个作为客户端:VM2(IP: 3.9.8.157) 3)        服务器端和客户端网络能够互相ping通 4)        服务器端和客户端都已安装 rsync 要求:将VM3的/root/backup/目录下的所有文件 复制到 VM2 的/root/test/目录下. 2.操作 1)        用ping命令检测服务器端和客户端的网络互通性 VM3  ping  VM2 成功

Linux的rsync 配置,用于服务器之间远程传大量的数据   [教程主题]:rsync [课程录制]: 创E [主要内容] [1] rsync介绍 Rsync(Remote Synchronize) 是一个远程资料同步工具,可通过LAN/WAN快速同步多台主机,Rsync使用所为的“Rsync演算法”来使本地主机和远程主机之间达到同步,这个演算法并不是每次都整份传送,它只传送两台计算机之间所备份的资料不同的部分,因此速度相当快. Rsync的优点如下: 1.可以镜像保存整个目录树和文件系统.

一.全局参数 在[moudle]之前的参数都是全局参数,也可以在全局参数下定义部分模块参数,这时该参数的值就是所有模块的默认值. port:指定后台程序使用的端口号,默认是873 logfile:指定rsync的日志文件,而不把日志发送给syslog pidfile:指定rsync的pid文件,通常指定为/var/run/rsyncd.pid motdfile:用来指定一个消息文件,当客户连接服务器时,将该文件内容显示给客户,默认是没有该文件的 二.模块参数 主要定义服务器哪个目录需要被同步.其

rsync是Unix/Linux下同步文件的一个高效算法,它能同步更新两处计算机的文件与目录,并适当利用查找文件中的不同块以减少数据传输.关于rsync的核心算法,有兴趣的看下这篇文章. 这里介绍一下使用方法,我们假设要从A机器的/a目录同步文件到B机器的/b目录,为了简单起见,以下操作均使用root权限. 安装rsync 首先是rsync的安装,Linux下一般都会自带,如果没有就用包管理工具安装,或者到rsync官网下载手动安装:Windows下则可以安装cygwin,安装时选择包含rsyn

一.rsync 简介 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用 Rsync 同步本地硬盘中的不同目录. Rsync 是用于取代rcp的一个工具,Rsync使用所谓的 “Rsync 算法” 来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.您可以参考 How Rsync Works A Practical Overview 进一步了解 rsync

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 对于rsync服务器来说,最重要和复杂的就是它的配置了.rsync服务器的配置文件为/etc/rsyncd.conf,其控制认证.访问.日志记录等等. 注意:rsync在安装完毕后,不想mysql.nginx.apache那样会给你一个,该配置文件的模版. 该文件只能通过手工创建,不过在rsync的官网给出一个该配置文件的模版.如下: http://rsync.samba.org/ftp/rsync/rsyncd.conf.html 该文件是由一个

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 这几天刚好有空就打算开始学习linux下的文件同步软件rsync,在学习rsync时,我们可以分以下几个步骤进行: 1. rsync是什么 2. rsync的工作原理 3. rsync优点 4. rsync认证方式 5. 安装rsync 6. rsync命令参数详解 7. 配置rsync 8. rsync的启动与关闭 9. rsync同步实例 说明:rsync服务器与客户端使用的OS均为:centos 6.5 64bit. 一.rsync是什么 在

一.rsync 简介 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用 Rsync 同步本地硬盘中的不同目录. Rsync 是用于取代rcp的一个工具,Rsync使用所谓的 “Rsync 算法” 来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.您可以参考 How Rsync Works A Practical Overview 进一步了解 rsync

两台linux服务器系统CentOS7 一台Apache IP:192.168.155.130(发布文件服务器,也可以叫rsync客户端) 一台nginx IP:192.168.155.131(同步镜像文件服务器,也可以叫rsync服务器端) Apache服务器同步文件夹路径 /usr/local/apache/htdocs nginx服务器同步文件夹路径 /usr/local/nginx/html nginx服务器 rsync 下载地址https://rsync.samba.org/ wget

1.安装rsync和配置文件 root@localhost ~]# yum -y install rsync #安装rsync服务 #CentOS 默认以 xinetd 方式运行 rsync 服务.rsync 的 xinetd 配置文件在 /etc/xinetd.d/rsync.[root@localhost ~]# vim /etc/xinetd.d/rsync service rsync { disable = yes flags = IPv6 socket_type = stream wa

这里有一点要特别注意了,就是在你完成备份之后,先不要把本地的文件都给删除了,先把服务停了之后再删除文件, 因为你已删除,检查到两边不一致,他又会把备份端给删除了.所以特别得注意了.这里吃过一次亏. 还有在生产的过程当中我遇到一个问题,就是我的源文件端朝所有的服务器端都可以同步文件,唯有一台不行,那台服务器的系统是centos 7 的网段是10.23.24的,我的源文件有两个网段,一个是192.168.220还有个一个10.23.24的(但是这两个网段都是可以互通的),当时我在centos 7服务