Rsync同步神器

Rsync清理大批量垃圾数据在Linux下删除海量文件的情况,需要删除数十万个文件.这个是之前的程序写的日志,增长很快,而且没什么用.这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太长.所以必须要采取一些非常手段.我们可以使用rsync的--delete-before参数来实现快速删除大量文件. 1)建立一个空的文件夹:mkdir /tmp/test2)用rsync删除目标目录:rsync --delete-before -a -H -v --progress --…

rsync同步时，删除目标目录比源目录多余文件的方法（--delete）

在日常运维工作中,我们经常用到rsync这个同步神器.有时在同步两个目录时,会要求删除目标目录中比源目录多出的文件,这种情况下,就可用到rsync的--delete参数来实现这个需求了. 实例说明:在服务器A上同步/tmp/work目录到远程服务器B的/tmp/work目录下(A和B已经提前做好ssh无密码信任跳转关系了),同时删除B服务器/tmp/work目录下相比于A服务器/tmp/work中多余的文件最近在处理策划资源文件的时候需要将目录A的文件全部同步到目录B的文件,并且把目录B内多余的…

使用rsync同步目录

本文描述了linux下使用rsync单向同步两个机器目录的问题. 使用rsync同步后可以保持目录的一致性(含删除操作). 数据同步方式从主机拉数据备机上启动的流程同步命令: rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir} 参数说明: -a 参数,相当于-rlptgoD(-r 是递归 -l 是链接文件,意思是拷贝链接文件:-p 表示保持文件原有权限:-t 保持文件原有时间:-g 保持文件原有用户组:-o 保持文件原…

Windows Linux 之间rsync同步CODE文件

Windows Linux 之间rsync同步CODE文件一.环境Windows:OS:Microsoft Windows Web Server 2008 SP1IP:192.168.88.197 Linux:OS:CentOS release 6.4 (Final)IP:192.168.88.238 二. Windows 下安装服务端软件并配置1.cwRsyncServer(安装过程略),注意安装过程会创建一个启动服务的用户启动cwsyncservices.msc-找到RsyncServer…

rsync同步Nginx日志遇到问题总结

一.目的将nginx 日志通过普通用户利用rsync公钥认证的方式实时同步到本地服务器上,之后使用elk程序进行处理. 二.遇到问题及解决方法思路问题1.文件权限:nginx 的日志默认权限如下: [root@elk ~]# ll /var/log/nginx/access.log -rw-r----- nginx adm Sep : /var/log/nginx/access.log 我新建的是普通用户,标准的用户组,用rsync同步时,报个错误,说是没有该文件的权限 receiving…

运维工作中常用到的几个rsync同步命令

作为一个运维工程师,经常可能会面对几十台.几百台甚至上千台服务器,除了批量操作外,环境同步.数据同步也是必不可少的技能.说到“同步”,不得不提的利器就是rsync. 下面结合本人近几年运维工作中对这一工具使用的经验,简单在此梳理下: rsync不但可以在本机进行文件同步,也可以作为远程同步工具.rsync+inotify实时同步方案部署,请参考:http://www.cnblogs.com/kevingrace/p/6001252.html rsync同步命令中常用的几个参数说明:-a, --a…

[转]在Windows中配置Rsync同步

在Windows中配置Rsync同步 Rsync是一款不错的文件免费同步软件,可以镜像保存整个目录树和文件系统,同时保持原来文件的权限.时间.软硬链接.第一次同步时 rsync 会复制全部内容,下次只传输修改过的文件部分.传输数据过程中可以实行压缩及解压缩操作,减少带宽流量.支持scp.ssh及直接socket方式连接, 支持匿名传输.支持Linux,Window平台.写本文的时候,window版最新版为4.0.5版官网:http://rsync.samba.org/ Linux版下载:ht…

rsync 同步文件

rsync 同步文件 rsync -avz roo@192.168.4.12::/home/a ./a --exclude "data" exclude 去掉/a/data 文件夹排除多个文件 rsync -avz --delete /home/wwwroot/yswifi/ root@115.29.19.85:/home/wwwroot/test --exclude "home/wwwroot/exclude.txt" exclude.txt写法为一排一排的,…

rsync同步工具学习笔记

rsync同步工具 1.rsync介绍 rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具.rsync软件适用于unix/linux/windows等多种操作系统平台. rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝.当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝.利用…

Linux rsync 同步实践

目录[-] 1. rsync 同步的大致思路 2. rsync的安装 3. rsync的配置 4. rsync的基本操作服务器端启动注2. 实时同步注3. rsync通过linux防火墙公司网站有两台服务器 A.B,做了动静分离,A上为静态服务器安装有nginx,B为Tomcat容器.访问时,通过A的nginx 做反向代理,静态文件http请求,目录statics直接访问A服务器上的静态文件. 但我们由于开发的时候项目 java代码和静态文件都在一起,只发布到 B上,然后将静态文件目…

Ubuntu下多服务器 Rsync同步镜像服务配置

主服务器:192.168.5.13_ubuntu 从服务器:192.168.5.11_centos ================== 1> 在两台主机上分别安装rsync=================== ubuntu安装如下: # apt-get install rsync 编译安装:下载这个免费的软件 rsync.samba.org/ 或者 samba.anu.edu.au/rsync 去官方网站下载最新的版本解压缩进目录后执行 #./configure && make…

Windows 之间用rsync同步数据(cwRsyncServer配置)

rsync是一款优秀的数据同步软件,在跨服务器,跨机房,跨国备份服务器的首选工具,下面就来介绍下如何配置安装cwRsyncServer很大多数软件一样是B/C架构,cwRsyncServer是rsync的windows版本一,下载官方下载地址:官方网站:http://rsync.samba.org/download.html下载地址:http://sourceforge.net/projects/sereds/files/cwRsync/4.1.0/ 服务器版为: <ignore_js_op>…

Linux下inotify监控文件夹状态，发生变化后触发rsync同步

1.安装工具--inotifywget http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztar -zxvf inotify-tools-3.14.tar.gzcd inotify-tools-3.14./configure --prefix=/usr/local/inotifymake && make install --rsync下载:http://rsync.samba…

实现Rsync同步Nginx前端配置

近期,由于我们的阿里前端服务器频频受到恶意的流量攻击,导致前端NGINX进入黑洞而无法正常访问公司网站. 按之前的预计方法,采用加速乐及备用全配置前端的作法,将恶意短时流量攻击的损失时间降到最短.现将C这台机用作全配置的NGINX前端,A和B前端的任何NGINX配置都会通过RSYNC同步到C这台机器上. 部署的思路如下: 规范A和B的nginx配置目录(用include conf.d/*来实现),在这两个服务器上配置一个rsync的服务端进程,然后,在C上每两分钟运行rsync同步进程,及时的将…

Git版本控制，rsync同步文件，完成线上部署

之前项目开发完成,测试阶段,借着此时,由于公司暂时用两台aliyun ecs 做业务层,所以每次都需要同步线上文件,进而想着搞一搞服务器端(小公司,新项目,先小搞一把),搭建一套小的版本控制上线的业务体系,完成之后记录一下. 开发测试流程如下图:(由于只讲述rsync同步,所以为画出总体集群部署) 开发者通过git(svn)的方式完成代码版本控制,将全部代码push到开发服务器上,待开发完毕通过ssh传入测试服务器,进而测试组介入,完成相应的测试,通过测试服务器git服务器完成线上正式代码的…

Rsync同步、Rsync+Lsync实时同步

Rsync同步.Rsync+Lsync实时同步原创博文http://www.cnblogs.com/elvi/p/7658049.html #!/bin/sh #Myde by Elven @ #centos 6x , centos 7x #Rsync同步.Rsync+Lsync实时同步 ### 全局配置 #Rsync服务端配置 RS_IP=192.168.20.1 BkDir=/www/backup #Lsync目录配置 Source="/www/backup/tobak/" Ta…

windows 下的 Rsync 同步

整理一下 windows 下的 rsync 文件同步. Rsync下载地址: 链接:https://pan.baidu.com/s/1nL0Ee_u76ytWKUFMeiKDIw 提取码:52in 一.Server 端 172.16.2.36 1.安装 cwRsyncServer_4.0.5_Installer.exe 依据提示下一步下一步安装即可.安装成功之后在服务里面找到 RsyncServer 服务: 点开属性登陆关系配置程本地账户:(或者可以在安装时候输入本机系统的账户…

7z常用命令行&7z检测压缩包完整性&7z压缩包错误不执行rsync同步

7Z简介&常用命令 7Z脚本使用说明 7Z检测压缩包完整性脚本 7Z压缩包错误不执行Rsync脚本 1.7Z简介&常用命令 ⑴简介: 7z,全称7-Zip, 是一款开源软件.是目前公认的压缩比例最大的压缩解压软件.主页:http://www.7-zip.org/中文主页:http://7z.sparanoid.com/命令行版本下载:http://7z.sparanoid.com/download.html主要特征:# 全新的LZMA算法加大了7z格式的压缩比# 支持格式:* 压缩 / 解…

scp 免密登录ssh-copy-id 如何使用非22端口 + rsync 同步远程机器的文件到本地

其中:id_rsa为私钥文件,id_rsa.pub为公钥文件 ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 2122 root@IP " 我的:ssh-copy-id "-p 10173 clouder@62.136.164.130" rsync 同步远程机器的文件到本地: rsync -avrH -e 'ssh -p 10173' clouder@65.146.164.220:/home/clouder/rsync/ /hom…

rsync同步时出现rsync: failed to set times on “xxxx”: Operation not permitted

今天在同步数据的时候提示rsync: failed to set times on “xxxx”: Operation not permitted,一般来说要不是服务器时间不对或者权限没有设置好,下面脚本之家小编就为大家整理了一些资料第一种方法: 出现rsync: failed to set times on “xxxx”: Operation not permitted的原因大致是对文件夹(或文件)xxxx没有操作权限.如果执行同步的用户是root,是不会有这样的问题,但是rsync也可以不…

linux rsync同步工具

linux rsync同步工具 1.rsync介绍rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据同步备份的优秀工具.rsync软件适用于unix/linux/windows等多种操作系统平台. rsync和ssh带的scp命令比较相似,但又优于scp命令的功能,scp每次都是全量拷贝,而rsync可以进行增量拷贝.当然,rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优于cp命令,cp每次都是全量拷贝,而rsync可以增量…

Linux运维: Rsync同步数据(ubuntu16.04+windows10)

rsync同步数据 -环境:Linux (ubuntu16.04) + windows10 Linux: 安装 sudo apt-get install rsync rsync --version 查看是否已安装, 并查看版本配置主要三个配置文件. 默认不存在(/etc/..) ① rsyncd.conf ② rsyncd.secrets ③ rsyncd.motd (rsync服务器信息) 2.1 创建配置文件 cd /etc mkdir rsyncd vi rsyncd.conf rsy…

通过 lsyncd + rsync 同步文件

通过rsyncd实现将源服务器上的文件同步到目标服务器,通过lsyncd监控源服务器上的文件是否有变动,若有变动调用rsyncd服务对差异的文件进行同步. 0. lsyncd有三种同步文件的方式: (1)rsync模式:不同主机间同步文件,文件的传递通过套接字传输,服务端启动rsyncd服务监听来自客户端的连接请求. 主机的一端安装lsyncd,另一端安装rsync,并启动为服务. (2)rsyncssh模式:不同主机间同步文件,文件的传输通过ssh,服务端不必启动rsyncd服务,而是通过ss…

解决长时间计划任务rsync同步进程数过多

用rsync同步远程服务器,由于设置的的同步间隔较短(5分钟),这样一旦网速问题导致5分钟内同步不完.就会倒是同步紊乱,导致系统中很多rsync进程(# ps -aux | grep rsync) 解决方法1.使用linux bash脚本定时执行,杀死多余的rsync进程2.脚本内容如下 #!/bin/bash## Propram:# Kill the redundant Rsync process# # # for i in `ps -ef |grep rsync |…

rsync同步命令

rsync同步时,--delete删除目标目录比源目录多余文件的方法1 .实例说明服务器A上同步/tmp/work目录到远程服务器B的/tmp/work目录下, 同时删除B服务器/tmp/work目录下相比于A服务器/tmp/work中多余的文件 A同步到B:B的ip是11. --delete参数要放在源目录和目标目录前,并且两个目录结构一定要一致!不能使用./* rsync -e "ssh -p22" -avpz --delete ./ root@11.11.11.11:/tmp…

rsync 同步文件重复拷贝问题

rsync 是同步文件的利器,一般用于多个机器之间的文件同步与备份,同时也支持在本地的不同目录之间互相同步文件.在这种场景下,rsync 远比 cp 命令更加合适,它只会同步需要更新的文件,默认情况下,rsync 通过比较文件的最后修改时间(mtime)和文件的大小(size)来确认哪些文件需要被同步过去. 最近刚好有一个需求,需要将文件从一个目录同步到另外一个目录去,我就首先试了下下面的命令: # mkdir src dest # echo hello > src/one.txt # rsyn…

rsync 同步多台服务器项目目录

server1:192.168.10.1server2:192.168.10.2实现server2实时同步server1的数据! ###############server1###############1.安装rsync和xinetd,并创建目录:yum install rsync xinetdmkdir -p /home/rsync/mkdir -p /home/rsync/log/mkdir -p /home/rsync/pid/mkdir -p /home/rsync/run/ 2.配置…