用rsync同步远程服务器,由于设置的的同步间隔较短(5分钟),这样一旦网速问题导致5分钟内同步不完.就会倒是同步紊乱,导致系统中很多rsync进程(# ps -aux | grep rsync) 解决方法1.使用linux bash脚本 定时执行,杀死多余的rsync进程2.脚本内容如下 #!/bin/bash## Propram:#       Kill the redundant Rsync process# #     # for i in `ps -ef |grep rsync |

一.在 server 端配置 1. 编辑配置文件 #vi /etc/rsyncd.conf 添加下面的配置参数: uid = nobody # 该选项指定当该模块传输文件时守护进程应该具有的uid.默认值为"nobody". gid = nobody # 该选项指定当该模块传输文件时守护进程应该具有的gid.默认值为"nobody". max connections = 4 # 最大连接数为4 use chroot = no # 不使用chroot log file

rsync同步文件有三种模式: 1.把源站路径下某个文件,同步到目标路径.例如rsync -aR /data/1/2/3/a.txt 1.1.1.1:/data/ ,目标机器将自动创建多层目录存放a.txt.也可以换不同存放目录,例如rsync -aR /data/1/2/3/a.txt 1.1.1.1:/backup/,得到/backup/data/1/2/3/a.txt. 2.把源站某个目录,同步到目录路径.例如rsync -a /data/1/2/3 1.1.1.1:/data/other

转载:http://www.ithao123.cn/content-8128849.html

参考博文: 参考1:CentOS6.5实现rsync+inotify实时同步 参考2:inotify-tools+rsync实时同步文件安装和配置 CentOS 6.3下rsync服务器的安装与配置  对 rsync命令解释的很详细 rsync 常见错误与解决方法整理 参考1比较详细,但是有点问题,参考2主服务器端比较详细  但是有小问题  把二者结合培正成功 注意:从主服务器拷贝到从服务器,千万别搞混了. 1.首先从主服务器A开始 需要确定你的系统是否支持inotify: 在安装inotify

服务器A:论坛的主服务器,运行DZ X2论坛程序;服务器B:论坛从服务器,需要把X2的图片附件和MySQL数据实时从A主服务器实时同步到B服务器.MySQL同步设置会在下一编中说到.以下是用于实时同步两台服务器的图片. 因为一般的RSYNC需要CRON来定期运行SH脚本来实现同步,这样会带来一些问题.比如用户从主服务器上传上一个图片,需要最少一分钟才能从从服务器显示出来.自从Linux 2.6内核后,支持了inotify机制,当某些文件或文件夹有改变时,发出相应的事件,这样,第三方程序只要订阅这

自动化构建.测试.部署.代码检测越来越重要.主要有一下几点原因 1.  企业做大,项目变多,多端支持(web,h5,小程序等) 2.  微服务提倡高内聚低耦合,项目因拆分变多 3.  DevOps自动化运维流行 4.  集群化,高可用部署方案 5.  避免人工操作出现的错误 6.  集成管理系统,实现提交发布.发布审批.发布等UI可视化操作 等等原因,学习使用jenkins实现自动化作业非常有必要.这是我学习过程中整理的资料,分享给大家. 欢迎向我推荐更好的资料和讨论关于jenkins的问题.

自动化构建.测试.部署.代码检测越来越重要.主要有一下几点原因 企业做大,项目变多,多端支持(web,h5,小程序等) 微服务提倡高内聚低耦合,项目因拆分变多 DevOps自动化运维流行 集群化,高可用部署方案 避免人工操作出现的错误 集成管理系统,实现提交发布.发布审批.发布等UI可视化操作 等等原因,学习使用jenkins实现自动化作业非常有必要.这是我学习过程中整理的资料,分享给大家. 欢迎向我推荐更好的资料和讨论关于jenkins的问题. 目录 一.       安装 1)       

背景介绍:目前我们线上的前端服务器数量比较多,超过200多台,每次发布新应用的时候,都是将软件包放在一台专门的Push服务器上,再由所有的前端服务器通过rsync自动同步.但随着前端服务器的数量越来越多,Push服务器的带宽已经成为了瓶颈. 而BitTorrent Sync这种P2P方式的同步则是一种解决方案.同时它的跨平台支持也非常好,无论是Windows,Linux,Mac OS,甚至手机端都有相应的客户端.虽然目前尚未开源,但可以免费使用,还是很不错的. 下面,就是我们在线上的纯Linux

jenkins自动化工具使用教程 自动化构建.测试.部署.代码检测越来越重要.主要有一下几点原因 企业做大,项目变多,多端支持(web,h5,小程序等) 微服务提倡高内聚低耦合,项目因拆分变多 DevOps自动化运维流行 集群化,高可用部署方案 避免人工操作出现的错误 集成管理系统,实现提交发布.发布审批.发布等UI可视化操作 等等原因,学习使用jenkins实现自动化作业非常有必要.这是我学习过程中整理的资料,分享给大家. 欢迎向我推荐更好的资料和讨论关于jenkins的问题. 一.    安

inotify-tools+rsync实时同步文件安装和配置 Linux+Nginx+PHP+MySQL+MemCached+eaccelerator安装优化记录(见 http://www.linuxidc.com/Linux/2012-06/63622.htm ).服务器A:论坛的主服务器,运行DZ X2论坛程序;服务器B:论坛从服务器,需要把X2的图片附件和MySQL数据实时从A主服务器实时同步到B服务器.MySQL同步设置会在下一编中说到.以下是用于实时同步两台服务器的图片. 因为一般的R

为了更好的理解SSH免密码登陆原理,我们先来说说SSH的安全验证,SSH采用的是”非对称密钥系统”,即耳熟能详的公钥私钥加密系统,其安全验证又分为两种级别. 1. 基于口令的安全验证 这种方式使用用户名密码进行联机登录,一般情况下我们使用的都是这种方式.整个过程大致如下: (1)客户端发起连接请求. (2)远程主机收到用户的登录请求,把自己的公钥发给客户端. (3)客户端接收远程主机的公钥,然后使用远程主机的公钥加密登陆密码,紧接着将加密后的登陆密码连同自己的公钥一并发送给远程主机. (4)远程

前言 最近做了一个不大不小的项目,现就删繁就简单独拿出来web集群这一块写一篇博客.数据库集群请参考<MySQL集群架构篇:MHA+MySQL-PROXY+LVS实现MySQL集群架构高可用/高性能-技术流ken>下面是项目的一些简单介绍. WEB集群项目简介 随着网站访问量的激增,势必会导致网站的负载增加,现需求搭载一套高性能,高负载,高可用的网站集群架构以保障网站的持续.高效.安全.稳定的运行. 针对以上需求,我们采用了如下的技术: 使用负载均衡技术来实现网站请求的调度分发,减小后端服务器

环境部署 源机:192.168.31.140 目标机:192.168.31.130 源机配置 基于rsync的lsyncd 自动同步,rsync的配置省略 安装lsyncd rpm -ivh lsyncd-2.1.5-1.x86_64.rpm 配置文件:/usr/local/lsyncd/etc/lsyncd.conf 日志文件:/usr/local/lsyncd/logs/lsyncd.log 状态文件(由程序自动生成):/usr/local/lsyncd/logs/lsyncd.status

最近需要写一个脚本备份各个服务器上的程序到一个指定服务器上,本来以为查查rsync命令的使用321就能搞定,结果rsync命令要支持自动登 录还是要配置服务和参数,又不确定网上说的配置的行不行,因为都是一个样,但是没有说明头尾,所以选择了一个尝试代价较小的ssh自动登录来替代之. ssh大家都能用到,通常我们用到的功能基本就是登录,或者远程执行shell命令. ##登录 ssh loginuser@host_or_ip ##执行远程命令 ssh loginuser@host_or_ip comm

我的mac 4核,因此每次执行的时候同时开启4个线程处理: # coding: utf-8 import time from multiprocessing import Pool def long_time_task(name): print 'task %s starts running' % name time.sleep(3) print 'task %s ends running --3 seconds' % name if __name__ == '__main__': start

1>rsync概述 rsync的优点与不足 rsync与传统的cp.tar备份方式相比,rsync具有安全性高.备份迅速.支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的       备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等. 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务      系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输:如果文件数量达到

本文参考来自:http://chocolee.blog.51cto.com/8158455/1400596 我的需求和他的略有不同,同时做了一下更改,如下: 需求:两台机器相互为主备,搭建相同的两个服务,实现数据同步,并长期运行脚本,不受hup影响 1.安装Rsync http://www.cnblogs.com/liuquan/p/5413132.html 2.安装 inotify-slave部署 inotify是rsync客户端安装和执行的 企业场景压力测试200-300个同步限制,受网卡,

一.简介 随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足. 首先,rsync在同步数据时,需要扫描所有文件后进行比对,进行差量传输.如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的,并且正在发生变化的往往是其中很少的一部分,这是非常低效的方式. 其次,rsync不能实时的去监测.同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不

一.为什么要用Rsync+sersync架构?1.sersync是基于Inotify开发的,类似于Inotify-tools的工具2.sersync可以记录下被监听目录中发生变化的(包括增加.删除.修改)具体某一个文件或某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的这个文件或者这个目录. 二.Rsync+Inotify-tools与Rsync+sersync这两种架构有什么区别?1.Rsync+Inotify-tools(1):Inotify-tools只能记录下被监听的目录发

Linux下使用SSH.Crontab.Rsync三工具实现数据自动备份 作为网管人员大概都无一例外的经历过系统备份,尤其是重要系统的备份.重要数据库系统的备份工作.由于备份是个频繁而琐碎的工作,如何能把这个工作做得即简单又灵活呢?下面就来介绍在Linux下如何使用SSH和Crontab以及Rsync工具来进行数据的自动备份与同步. 一.SSH无密码安全登录 为什么要选择SSH 呢?SSH又是什么呢?可以说它是替代以前Telnet的远程登录工具,SSH的英文全称是Secure Shell.用户可