众多数据库服务器的管理过程中,在不同服务器间的文件传输是免不了的.您可以使用scp命令或FTP方法完成文件的发送和接收,这篇文章我将给大家介绍另外一种方法,这就是rsync命令.rsync是文件传输程序,它的功能和算法描述可以参考维基百科中的介绍.参考链接:http://zh.wikipedia.org/zh-cn/Rsync 我来通过实验给大家展示一下rsync命令的常用方法.这里我们演示使用的操作系统是Linux,rsync已经预装好.如果是AIX操作系统,需要单独在IBM网站下载安装包安装…

最近机器迁移,需要备份文件,但各个机器间不能穿梭,即无法通过scp来传输文件, 在运维的建议下,选用了rsync作为传输的工具. 默认情况Ubuntu安装了rsync服务,但在/etc下没有配置文件,一般情况可以copy示例文件到/etc下. 配置无帐号登录的示例如下,需要主要高亮的部分. [mail] comment = public archive path = /tmp/mail/ use chroot = no # max connections= lock file = /var/lo…

1.通过ssh执行rsync(需要密码) 通过ssh帐户(需要密码)执行rsync,将文件同步镜像到远程服务器.下面这个例子将本地的/home/ramesh同步到远程目录/backup/ramesh(服务器地址192.168.200.10).执行以下操作时,服务器将会提示需要用户使用密码登录. rsync -avz -e ssh /home/ramesh/ ramesh@192.168.200.10:/backup/ramesh/ 2.使用ssh-keygen生成密匙 现在我们来设置ssh,以便…

ssh ~/.ssh/目录下通常有个文件 [root@user .ssh]# ll 总用量 16 -rw-------. 1 root root 552 11月 16 02:48 authorized_keys 这个里面包含的是别人的public key,如果别人有对应的private key,就能够登陆这个机器 生成自己的key,默认一路回车 ssh-keygen -t rsa -C “wenbintest@gmail.com” 比如如果我默认不加参数,也不输入密码 [root@user34-…

问题 rsync用来同步数据非常的好用,特别是增量同步.但是有一种情况如果不增加特定的参数就不是很好用了.比如你要同步多个几十个G的文件,然后网络突然断开了一下,这时候你重新启动增量同步.但是发现等了好久都没有进行数据传输,倒是机器的IO一直居高不下. 原因 rsync具体的增量同步算法不太清楚.根据它的表现来看,可能在增量同步已经存在的一个文件时,会校验已传输部分数据是否已源文件一致,校验完成才继续增量同步这个文件剩下的数据.所以如果对一个大文件以这样的算法来增量同步是非常花时间并且占用IO资…

很多时候,本地测试服务器想把文件传到线上服务器的时候,很多人都是通过登陆线上服务器ssh 传输,这样挺危险的,很多弊端....所以我找了下方法,发现scp挺好用的! 模拟环境: 192.168.147.130   线下测试服务器 192.168.147.128  线上服务器 如果想把 1.txt 传递到线上服务器,则可以使用一下命令 scp /www/1.txt root@192.168.147.128:/www 会提示输入密码: root@192.168.147.128's password:…

rsync -avz filename servername:/filename --exclude '*.log' --exclude '*.pyc' --exclude '*.db' --exclude 'env' rsync的选项说明. -v:显示rsync过程中详细信息.可以使用"-vvvv"获取更详细信息. -P:显示文件传输的进度信息.(实际上"-P"="--partial --progress",其中的"--progres…

scp传文件的话如果出错就得重新来过, 用rsync可以实现断点上传的功能   大概就是这样用:  rsync -P --rsh=ssh home.tar 192.168.205.34:/home/home.tar   传输的文件会隐藏起来, 用ls -a查看. 如果中途出错, 再次运行同样的命令上传就可以了.…

1.scp 限速100KB/s scp -l 1000 test root@192.168.1.104 此时的传输速率就是1M/8=100KB左右 2.rsync 限速100KB/s rsync -auvzP --bwlimit=100 本地文件 远程文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . z:压缩 u:只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时 P:是综合了--partial --progress两个参数,…

rsync -azvP /rsync/ --password-file=/etc/rsyncd/rsyncd.password  ruiy@192.168.11.199:/rsync/ rsync -azvP /rsync/ --password-file=/etc/rsyncd/rsyncd.password -e "ssh -p 9095" ruiy@192.168.11.182:/rsync/…

1.环境 windows2008 R2 和rhel 6.5 2.需求 通过在windows上指定计划任务,自动完成从Linux系统上备份文件到windows 3.工具 win: SSH Secure Shell Client         安装路径:D:\Program Files (x86)\SSH Communications Security Linux: ssh -V OpenSSH_5.3p1, OpenSSL 1.0.0-fips 29 Mar 2010 4.脚本 cd D:\Pr…

本篇接着介绍网络相关命令:wget 文件下载工具.curl 网络数据传输工具.rsync 文件传输工具等. 本篇接着介绍网络相关命令 1.wget 文件下载工具 wget [option]... [URL]... wget是一个非交互的下载器,支持HTTP, HTTPS和FTP协议,也可以使用代理.所谓'非交互'意思是说,可以在一个系统中启动一个wget下载任务,然后退出系统,wget会在完成下载(或出现异常)之后才退出,不需要用户参与. [root@centos7 temp]# wget ht…

测试环境 1．1服务器硬件信息 1．2 服务器软件信息 1．3 Rsync所能够支持的功能 (1)支持断点续传 (2)支持使用ssh传输加密 (3)支持128位MD4校验(3.0以后版本使用MD5加密) (4)支持镜像 (5)支持限速 (6)支持目录层级递归拷贝 1．4常用Rsync参数详解 -a, --archive It is a quick way of saying you want recursion and want to preserve almost everything. -r…

1.背景 1)        一个作为服务器端:VM3(IP: 3.9.8.151) 2)        一个作为客户端:VM2(IP: 3.9.8.157) 3)        服务器端和客户端网络能够互相ping通 4)        服务器端和客户端都已安装 rsync 要求:将VM3的/root/backup/目录下的所有文件 复制到 VM2 的/root/test/目录下. 2.操作 1)        用ping命令检测服务器端和客户端的网络互通性 VM3  ping  VM2 成功…

Linux的rsync 配置,用于服务器之间远程传大量的数据   [教程主题]:rsync [课程录制]: 创E [主要内容] [1] rsync介绍 Rsync(Remote Synchronize) 是一个远程资料同步工具,可通过LAN/WAN快速同步多台主机,Rsync使用所为的“Rsync演算法”来使本地主机和远程主机之间达到同步,这个演算法并不是每次都整份传送,它只传送两台计算机之间所备份的资料不同的部分,因此速度相当快. Rsync的优点如下: 1.可以镜像保存整个目录树和文件系统.…

Rsync 简要介绍 rsync 是一个用于增量文件传输的开源工具,不得不说,rsync简直是不同服务器间传输文件.同步文件的利器.与FTP相比,它具有非常简单的安装和配置方法.而且,rsync可以只拷贝发生过变化的文件,这就让传输效率非常高.如果你考虑安全问题,也可以通过 ssh 协议来进行传输.rsync 用来进行备份和镜像也非常棒,它的这些特性可能是你非常需要的: 支持链接.属主.属组合权限的拷贝 支持包含或排出条件,类似 tar 不需要 root 权限 支持匿名或授权的 rsync se…

rsync远程传输避免密码输入 每次rsync远程传输时都需要输入用户在远程机器上的密码,这样导致无法在后台自动运行rsync,可采用秘钥文件来替代人工输入密码的方式来解决. 第一步 在本地机器上使用ssh-keygen -t rsa 生成秘钥(一路回车即可) [root@xxxx ~]$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ss…

一.全局参数 在[moudle]之前的参数都是全局参数,也可以在全局参数下定义部分模块参数,这时该参数的值就是所有模块的默认值. port:指定后台程序使用的端口号,默认是873 logfile:指定rsync的日志文件,而不把日志发送给syslog pidfile:指定rsync的pid文件,通常指定为/var/run/rsyncd.pid motdfile:用来指定一个消息文件,当客户连接服务器时,将该文件内容显示给客户,默认是没有该文件的 二.模块参数 主要定义服务器哪个目录需要被同步.其…

rsync是Unix/Linux下同步文件的一个高效算法,它能同步更新两处计算机的文件与目录,并适当利用查找文件中的不同块以减少数据传输.关于rsync的核心算法,有兴趣的看下这篇文章. 这里介绍一下使用方法,我们假设要从A机器的/a目录同步文件到B机器的/b目录,为了简单起见,以下操作均使用root权限. 安装rsync 首先是rsync的安装,Linux下一般都会自带,如果没有就用包管理工具安装,或者到rsync官网下载手动安装:Windows下则可以安装cygwin,安装时选择包含rsyn…

一.rsync 简介 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用 Rsync 同步本地硬盘中的不同目录. Rsync 是用于取代rcp的一个工具,Rsync使用所谓的 “Rsync 算法” 来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.您可以参考 How Rsync Works A Practical Overview 进一步了解 rsync…

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 对于rsync服务器来说,最重要和复杂的就是它的配置了.rsync服务器的配置文件为/etc/rsyncd.conf,其控制认证.访问.日志记录等等. 注意:rsync在安装完毕后,不想mysql.nginx.apache那样会给你一个,该配置文件的模版. 该文件只能通过手工创建,不过在rsync的官网给出一个该配置文件的模版.如下: http://rsync.samba.org/ftp/rsync/rsyncd.conf.html 该文件是由一个…

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 这几天刚好有空就打算开始学习linux下的文件同步软件rsync,在学习rsync时,我们可以分以下几个步骤进行: 1. rsync是什么 2. rsync的工作原理 3. rsync优点 4. rsync认证方式 5. 安装rsync 6. rsync命令参数详解 7. 配置rsync 8. rsync的启动与关闭 9. rsync同步实例 说明:rsync服务器与客户端使用的OS均为:centos 6.5 64bit. 一.rsync是什么 在…

一.rsync 简介 Rsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件,也可以使用 Rsync 同步本地硬盘中的不同目录. Rsync 是用于取代rcp的一个工具,Rsync使用所谓的 “Rsync 算法” 来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快.您可以参考 How Rsync Works A Practical Overview 进一步了解 rsync…

两台linux服务器系统CentOS7 一台Apache IP:192.168.155.130(发布文件服务器,也可以叫rsync客户端) 一台nginx IP:192.168.155.131(同步镜像文件服务器,也可以叫rsync服务器端) Apache服务器同步文件夹路径 /usr/local/apache/htdocs nginx服务器同步文件夹路径 /usr/local/nginx/html nginx服务器 rsync 下载地址https://rsync.samba.org/ wget…

1.安装rsync和配置文件 root@localhost ~]# yum -y install rsync #安装rsync服务 #CentOS 默认以 xinetd 方式运行 rsync 服务.rsync 的 xinetd 配置文件在 /etc/xinetd.d/rsync.[root@localhost ~]# vim /etc/xinetd.d/rsync service rsync { disable = yes flags = IPv6 socket_type = stream wa…

这里有一点要特别注意了,就是在你完成备份之后,先不要把本地的文件都给删除了,先把服务停了之后再删除文件, 因为你已删除,检查到两边不一致,他又会把备份端给删除了.所以特别得注意了.这里吃过一次亏. 还有在生产的过程当中我遇到一个问题,就是我的源文件端朝所有的服务器端都可以同步文件,唯有一台不行,那台服务器的系统是centos 7 的网段是10.23.24的,我的源文件有两个网段,一个是192.168.220还有个一个10.23.24的(但是这两个网段都是可以互通的),当时我在centos 7服务…

1.检查rsync 是否已经安装 [root@test home]# rpm -qa|grep rsync 若已经安装,则使用rpm -e 命令卸载. [root@test home]#rpm -e file.rpm 2.到http://pkgs.repoforge.org/rsync/ 下载相应版本的rpm包 3.更新rsync.rpm包和安装 [root@test home]#rpm -Uvh /home/tools/rsync-3.1.1-1.el5.rfx.i386.rpm [root@…

Rsync详解 1.什么是RsyncRsync(remote synchronize)是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件.Rsync使用所谓的“Rsync算法”来使本地和远 程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快. Rsync本来是用于替代rcp的一个工具,目前由rsync.samba.org维护,所以rsync.conf文件的格式类似于samba的主配 置文件.Rsync可以通过rsh或ssh使用,…

一.服务器端配置: 1.安装xinetd,并修改rsync相关配置 # yum -y install xinetd # vi /etc/xinetd.d/rsync 如下代码: service rsync {         disable = yes         socket_type     = stream         wait            = no         user            = root         server          = /usr…

导读 Rsync(remote sync) 是用于同步某一位置文件和目录到另一位置的有效方法.备份的位置可以在本地服务器或远程服务器.本站之前亦有介绍rsync的安装配置和教程,详看<rsync的安装和配置>一文. rsync特征 速度:第一次的rsync同步源的整个内容目录到目标位置.之后,rsync只传递改变的块或字节到目标位置,使传输非常快. 安全:rsync在传输中允许使用ssh协议加密数据. 更少的带宽:rsync分别在发送和接收端对数据进行压缩和解压缩.所以在使用rsync传输数据…