rsync限速以及用法 -- :: 标签:限速 rsync 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://xficc.blog.51cto.com/1189288/1567322 rsync是(限制为 100k Bytes/s): #rsync -auvzP--bwlimit= 本地的文件远程的文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . P:是综合了--pa…

一/scp限速1M #scp -l 1000 文件名 账号@远程机器IP此时的传输速率就是1M/8＝100K左右 二/rsync是(限制为 100k Bytes/s): #rsync -auvzP--bwlimit=100 本地的文件 远程的文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . z:压缩 u:只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时 P:是综合了--partial --progress两个参数, 所以此时…

版权声明:本文为博主原创文章,未经允许不得转载. 引子 在平常的工作中,我经常需要在远程服务器和本地之间传输文件. 以前我都使用scp命令,直到今天因为网络中断,scp出现了stalled. 因为上传的是一个100G的文件,所以如果需要重新传非常消耗时间. 好在过了一会儿scp自动断点续传了,但还是很后怕,因为我不确定scp是否能每次都成功断点续传. 所以这时候rsync就非常必要了. scp和rsync对比:scp节约资源,系统负荷小,但断点续传是个问题:rsync速度更快,断点续传方便,但系…

1.scp 限速100KB/s scp -l 1000 test root@192.168.1.104 此时的传输速率就是1M/8=100KB左右 2.rsync 限速100KB/s rsync -auvzP --bwlimit=100 本地文件 远程文件 参数说明: v:详细提示 a:以archive模式操作,复制目录.符号连接,等价于 -rlptgoD . z:压缩 u:只进行更新,防止本地新文件被重写,注意两者机器的时钟的同时 P:是综合了--partial --progress两个参数,…

一般使用scp/ssh/rsync传输文件时,都需要输入密码.下面是免密码传输文件的方法. 假设要在两台主机之间传送文件,host_src & host_dst.host_src是文件源地址所在的机器,host_dst是目的地址所在的机器. 1. 在host_src机器上,用执行scp/ssh/rsync命令的用户登录,执行下面的命令: $ ssh-keygen -t rsa 按回车健继续,默认的public key会被存放在 ~/.ssh/id_rsa.pub: Your public key…

最近应公司要求,需要对文件数据进行远程传输与备份操作,特此写了一篇文章记录下了关于ssh.scp以及rsync的应用配置全过程,可能过程太过罗嗦,但主要就是想在不遗漏每个过程的情况下对此进行阐述,希望大家能够体谅.当然类似的文章还有很多,本文仅以个人的名义来写的,不喜勿喷!如果文章中有什么错误的地方还请各位大神多多指点!万分感谢!一.ssh在文件共享里面的应用这个ssh可不仅仅是一个远程登录的一个服务,其实呢!它包括了几个组件:ssh(远程登录).sftp(文件共享[类似FTP]).scp(文件…

Linux命令中:rsync和cp之间的区别 - 小 楼 一 夜 听 春 雨 - 博客园https://www.cnblogs.com/kex1n/p/7008178.html cp,scp,rsync同步文件夹使用方法 - huoyuanshen的博客 - CSDN博客https://blog.csdn.net/huoyuanshen/article/details/67633516 [整理]Linux命令中:rsync和cp之间的区别 – 在路上https://www.crifan.com/…

scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的.可能会稍微影响一下速度.当你服务器硬盘变为只读 read only system时,用scp可以帮你把文件移出来.另外,scp还非常不占资源,不会提高多少系统负荷,在这一点上,rsync就远远不及它了.虽然 rsync比scp会快一点,但当小文件众多的情况下,rsync会导致硬盘I/O非常高,而scp基本不影响系统正常使用.scp在…

一.scp 命令 1.scp 是 secure copy 的缩写,用于远程的文件的复制. 2.参数: -r: 递归复制整个目录. 3.实例: scp /home/space/music/1.mp3 username@ip/home/root/others/music scp /home/space/music/1.mp3 username@ip/home/root/others/music/001.mp3 如果是远程复制目录就加上 -r 参数 即可(重命名目录,就直接在命令后面添加,前提保证目标…

解决 scp 和rsync 同步失败 报错信息截图: 解决问题的步骤: 1.检查对方的scp和rsync 是否能使用. rsync 在使用的时候,需要客户端和服务端都有rsync工具.scp 和 rsync 都是依赖ssh服务的.所以接下来看第二步  2.根据截图中红色框圈出来的端口号得知,220不是默认的,配置被改过,我们检查本地的ssh 服务验证下: 3.检查ssh的配置文件:/etc/ssh/ssh_config port 220        “Port”设置sshd监听的端口号,默认是…

通过在shell脚本中用expect实现远程scp文件  shell expect的简单用法 http://myunix.blog.51cto.com/191254/1095074 http://jie-hui-520.blog.163.com/blog/static/60074301201022610217249/ Linux rsync 同步实践 http://my.oschina.net/congqian/blog/137847 #!/bin/bash /usr/loca/rsync/bi…

rsync有两种常用的认证方式,一种为rsync-daemon方式,另外一种则是ssh.在一些场合,使用rsync-daemon方式会比较缺乏灵活性,ssh方式则成为首选.但是今天实际操作的时候发现当远端服务器的ssh默认端口被修改后,rsync时找不到一个合适的方法来输入对方ssh服务端口号.在查看官方文档后,找到一种方法,即使用-e参数.-e参数的作用是可以使用户自由选择欲使用的shell程序来连接远端服务器,当然也可以设置成使用默认的ssh来连接,但是这样我们就可以加入ssh的参数了. 假…

笔记 1.晨考 1.VPN的搭建步骤 2.vpn中的iptables是什么作用? 网络转发 2.昨日问题 1.yum源问题 2.VPN链接正常,但是没办法通过172 3.VPN链接时,出现了DNS错误 4.掩码不对 5.openvpn开启错误 3.今日内容 1.rsync 2.备份方式 cp : 本机复制 scp : 远程复制 推(本地上传到远程服务器): scp 1.txt root@ip:[路径] [root@m01 ~]# scp 1.txt root@172.16.1.41:/opt/…

scp 是通过ssh协议传输数据,如果是想传输一个很大的数据,这几天我就遇到过,一个tar包,400G左右,通过scp拷贝时,有可能遇到服务器断电什么的悲剧问题,那么类似scp拷贝的另一个命令 rsync就可以实现意外中断后,下次继续传,命令如下: rsync -P --rsh=ssh home.tar root@192.168.0.34:/home/home.tar -P: 是包含了 “–partial –progress”, 部分传送和显示进度 -rsh=ssh 表示使用ssh协议传送数据…

tar 选项  目标文件  源文件(1 2 3) tar cf **.tar file1 file2 file3 (默认情况下 cf选项只有归档没有压缩) tar xf 从归档中提取 创建tar的存档 压缩方式:z(gzip) .gz j(bzip2) .bz2  J(xz) .xz 归档过程中可用 -p 保留原有权限 tar czf file.tar.gz   file1 file2 file3 创建压缩文件 tar xzf file.tar.gz  文件路径 scp scp 本地文件 目标I…

                                                                                                           rsync基本用法 1案例1:rsync基本用法 1.1问题 本例要求掌握远程同步的基本操作,使用rsync命令完成下列任务: 将目录/boot同步到目录/todir下 将目录/boot下的文档同步到目录/todir下 在目录/boot下新增文件a.txt,删除/todir下的子目录g…

scp. 拷贝完全相同 scp -r etc/hadoop/dfs.hosts root@192.168.121.134:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/ rsync.拷贝有差异的文件 rsync -rvl etc/hadoop/hdfs-site.xml root@192.168.121.136:/usr/local/hadoop/hadoop-2.7.6/etc/hadoop/ xsync.循环复制文件到所有节点相同的目录下 !/bin/b…

一.scp 格式 scp [options] [user@]host : /sourcefile /destpathscp [options] /sourcefile [user@]host:/destpath 常用选项:- -C: 压缩数据流-r: 递归复制-p: 保持原文件的属性信息(有时会用到)-q: 静默模式-P PORT: 指明remote host的监听的端口 scp只时和临时的文件传输,其基于ssh之上,所以安全性比较有保证,但是功能比较单一,不适合做大量文件的定时任务 二.sft…

日常工作中经常涉及到系统间的文件传输,下面就简单说一下常用的方法   linux--windows      工具:winscp.SecureCRT.Zmodem(sz, rz)   linux--linux      工具:scp.rsync (具体用法,参照man手册)   通用方法:Python快捷搭建http服务器 一.直接使用python的SimpleHTTPServer 模块搭建http下载服务器(只能下载不能上传) python -m SimpleHTTPServer 8000 #…

linux下不同服务器间数据传输(rcp,scp,rsync,ftp,sftp,lftp,wget,curl) 分类: linux2011-10-10 13:21 8773人阅读 评论(1) 收藏 举报 服务器linuxftp服务器文档commandssh   目录(?)[+]   因为工作原因,需要经常在不同的服务器见进行文件传输,特别是大文件的传输,因此对linux下不同服务器间数据传输命令和工具进行了研究和总结.主要是rcp,scp,rsync,ftp,sftp,lftp,wget,cur…

centos linux 系统日常管理4  scp,rsync,md5sum,sha1sum,strace ,find Rsync 常见错误及解决方法  第十七节课 rsync可以增量同步,scp不行 注意:修改sshd_config文件时候,port字段,sshd不支持监听小于1024 ,1~1023不允许自定义(保留端口) 注意:scp和rsync都可以用密钥登录,避免输入密码,关闭selinux 注意:当目标文件存在的情况下,scp跟rsync都会支持覆盖目标文件,不会询问,而第一次scp…

因为工作原因,需要经常在不同的服务器见进行文件传输,特别是大文件的传输,因此对linux下不同服务器间数据传输命令和工具进行了研究和总结.主要是rcp,scp,rsync,ftp,sftp,lftp,wget,curl.   rcp rcp不是一种安全的的传输文件的方式,rcp通过rsh(rsh见下面)来执行远程命令,要使用rcp必须经过一些配置,现在rcp已经被scp取代了,常用scp来进行文件传输.要使用rcp,需要具备以下条件:   (1)如果系统中有/etc/hosts 文件,应确保该文…

rsync默认使用SSH的22号端口,为了安全起见,很多机器更改了SSH默认的端口号,对应rsync命令的用法为: rsync -e 'ssh -p 1234' username@hostname:SourceFile DestFile…

rsync数据同步工具的配置 1. rsync介绍 1.1.什么是rsync rsync是一款开源的快速的,多功能的,可实现全量及增量的本地或远程数据同步备份的优秀工具.Rsync软件适用于 unix/linux/windows等多种操作系统平台 下面是官方的英文简单描述: rsync - a fast, versatile, remote (and local) file-copying tool 官网 https://www.samba.org/ftp/rsync/rsync.html 1.…

RSYNC是Remote Sync 远程同步的简称,与SCP的比较,SCP= 无法备份大量数据,类似windows的复制,而rsync=边复制 ,边统计,边比较,可以备份大量数据.可以镜像保存整个目录树和文件系统.可以很容易做到保持原来文件的权限.时间.软硬链接等等.无须特殊权限即可安装.快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.压缩传输:rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽.安全:可以使用scp.ssh等方式来传输文…

什么是nc nc是netcat的简写,有着网络界的瑞士军刀美誉.因为它短小精悍.功能实用,被设计为一个简单.可靠的网络工具 nc的作用 (1)实现任意TCP/UDP端口的侦听,nc可以作为server以TCP或UDP方式侦听指定端口 (2)端口的扫描,nc可以作为client发起TCP或UDP连接 (3)机器之间传输文件 (4)机器之间网络测速 nc的控制参数不少,常用的几个参数如下所列: 1) -l 用于指定nc将处于侦听模式.指定该参数,则意味着nc被当作server,侦听并接受连接,而非向…

rsync是linux下同步文件的一个高效算法,用于同步更新两处计算机的文件和目录,并适当利用查找文件中的不同块以减少数据传输.rsync的主要特点就是增量传输,只对变更的部分进行传送. 增量同步算法 假如我们现在需要同步两个文件保持一致,并且只想传送不同的部分,那么我们就需要对两边的文件做diff,但是这两个问题在两台不同的机器上,无法做diff.如果我们做diff,就要把一个文件传到另一台机器上做diff,但这样一来,我们就传了整个文件,这与我们只想传输不同部的初衷相背.于是我们就要想一个办…

rsync:只拷贝那些更新的文件: cp -u:也可以实现类似效果: 两者都基本可以满足备份的需求: 只是一般情况下,用rsync做这类备份之类的事情,更多见: 在备份的操作中,拷贝,过期文件的删除是经常要做的事情. 拷贝也有本机拷贝,拷贝到别的服务器等.常用的操作有cp,scp,rsync等命令. 1. cp(copy)命令 功能说明:复制文件或目录. 语 法:cp [-abdfilpPrRsuvx][-S <备份字尾字符串>][-V <备份方式>][--help][--spar…

Rsync的优点及缺点 优点:类似cp命令.scp命令,但rsync为增量复制工具 缺点:针对大文件,效率非常高(打包再比对),针对小文件,效率非常低. Rsync作用 (1)可使本地和远程两台主机之间的数据快速复制同步镜像,远程备份的功能,可以增量拷贝. (2)可以在本地主机的不同分区或目录之间全量及增量的复制数据 (3)可以实现删除文件和目录的功能,相当于rm命令 (4)支持拷贝特殊文件如链接文件,设备等 (5)可以有排除(tar?find?)指定文件或目录同步的功能,相当于打包命令tar的…

一.wget是Linux下最常用的http/ftp文件下载工具1.wget断点续传,只需要加上-c参数即可,例如:代码:wget-chttp://www.abc.com/abc.zip-Oabc.zip2.当服务器上的文件比本地指定目录下的文件更新时才下载,-P指定目录,-N表示检查文件文件是否更新代码:wget-N-P/hom 一.wget是Linux下最常用的http/ftp文件下载工具1.wget断点续传,只需要加上-c参数即可,例如:代码: wget -c http://www.abc.…