搭集群最麻烦的就是修改配置文件,如果只用修改一个机器上的配置文件,然后用一个脚本就可以把配置文件同步到其他机器上,岂不快哉! 编写一个名为xsync的脚本文件: 作用: 将当前机器的文件,同步到集群所有机器的相同路径下! hadoop102:/A/a , 执行脚本后,将此文件同步到集群中所有机器的 /A/a 用户在使用xsync时,只需要传入要同步的文件即可 xysnc a 不管a是一个相对路径还是绝对路径,都需要将a转换为绝对路径! 文件的绝对路径=父路径+文件名: 父路径: dirpath=

简介 文件实时同步对于运维是个很常见的需求. 如集群的机器,需要上传个文件,之前的步骤是每台服务器分别上传. 做文件同步以后,只上传一台,其他机器自动同步. 目前实现实时同步的主流方案有 rsync+inotify.sersync.lsyncd. rsync + inotify rsync + inotify 是最常见的方案. Inotify 是一个 Linux 内核特性,它监控文件系统,并且及时向专门的应用程序发出相关的事件警告,比如删除.读.写和卸载操作等 本准备试验一下,在网上看到如下评价

本文由秀依林枫提供友情赞助,首发于烂泥行天下. 这几天刚好有空就打算开始学习linux下的文件同步软件rsync,在学习rsync时,我们可以分以下几个步骤进行: 1. rsync是什么 2. rsync的工作原理 3. rsync优点 4. rsync认证方式 5. 安装rsync 6. rsync命令参数详解 7. 配置rsync 8. rsync的启动与关闭 9. rsync同步实例 说明:rsync服务器与客户端使用的OS均为:centos 6.5 64bit. 一.rsync是什么 在

同步脚本,在第5步要拼接自己配置的主机名 #!/bin/bash # 获取输入参数个数,如果没有参数,直接退出 pcount=$# )); then echo no args; exit; fi # 获取文件名称 p1=$ fname=$(basename $p1) echo fname=$fname # 获取上级目录到绝对路径 pdir=$(cd -P $(dirname $p1); pwd) echo pdir=$pdir # 获取当前用户名称 user=$(whoami) # 循环 ; h

学习背景 1.最近公司的项目在使用jenkins做自动化构建,因为jenkins在构建时是比较耗性能的,便单独使用了一台服务器做构建服务器.但是个人觉得这样成本过高,单独拿一台服务器来构建并且该服务器配置不能太差.便想着通过在本地搭建一台jenkins服务,做构建使用.但是这样有一个问题,无法使用webhooks,便选择的轮训构建.其实可以使用内网穿透的方式解决的,该实例还在学习中,也实验成功了,由于使用还不是特别熟悉,后期单独写一篇文章分享. 2.在jenkins构架时,我们需要配置一个wor

原文网址:http://www.linuxidc.com/Linux/2011-03/33728.htm 在内核初始化完成后,嵌入式linux 文件系统的启动过程主要包含以下几个步骤: 1. 执行/sbin/init 文件 2. 执行/etc/inittab 文件 3. 执行/etc/init.d/rcS 文件 4. 执行挂载文件系统脚本 5. 执行内核模块脚本 6. 执行网络初始化脚本 7. 执行应用程序启动等脚本,如qtopia 的启动 系统启动流程图: 1. 内核启动init 内核启动的最

因为linux 系统机制问题,文件的创建和写入并不会直接写入硬盘.而是先写入缓存,当系统要关闭或须要时才写入硬盘.为防止突然掉电,应将缓存中的文件及时同步到硬盘上去. linux 下的sync 命令具有数据同步功能.我们能够在Qt程序中调用该命令. 附:sync 命令说明 sync命令 linux同步数据命令 格式: sync 用途:更新 i-node 表,并将缓冲文件写到硬盘中. 功能:sync命令是在关闭Linux系统时使用的. 用户须要注意的是,不能用简单的关闭电源的方法关闭系统,由于Li

在工作中,我们经常遇到要从Linux服务器拷贝日志至本地或者定期清理日志的需求,在服务器上,大型系统的日志是按模块存储的,这就导致日志的文件目录较多且层级不统一.我们从众多的目录手工筛选要下载或者删除的文件就非常耗时且low.对于这种需求,我研究了一下shell脚本的实现,现将可用的shell脚本分享如下: 1.模拟多层级logs环境 [root@localhost ~]# cd /home/ [root@localhost ~]# mkdir -p logs/fo [root@localhos

1.说明 此脚本可分发两类文件,1.固定内容文件,2.(每台被分发主机)内容不同的文件 ppp.sh为拨号脚本,每台被分发主机内容不同 根据分发文件名字不同(ppp.sh和其他文件)自动选择分发方式 2.脚本 #!/bin/sh files=$ ip=$ port=$ [ -z "$files" ]&&{ echo ' exit } [ -z "$ip" ]&&{ echo ' exit } [ -z "$port"

ref: https://www.cnblogs.com/MacoLee/p/5633650.html https://wenda.so.com/q/1505308236213470 http://blog.51cto.com/11935263/2054760 #!/bin/bash # host=192.168.1.22 presrc=~/git/svc-iso src=$presrc/app src1=~/git/svc-iso/src/postinstall des=~/haishen/s

#!/bin/bash range= dir="/app/xx/logs" bak_dir="/app/xx/logs_archive" cd $dir $range` do time=`date -d "-$i day" +%F` file_count=`ls -al --full-time|grep "$time"|grep ^-|wc -l` ];then mkdir -p ${bak_dir}/${time} ls -

下载cwRsyncServer软件安装(这是Windows下的文件同步软件) 一.(1)在文件客户端服务器安装该软件,找到安装位置下的rsyncd.conf,修改配置文件(注意在Windows下输入位置时格式是:/cygdrive/c/ztb表示C盘下的ztb目录) use chroot = false strict modes = false hosts allow =* log file = rsyncd.log pid file = rsyncd.pid port = uid = gid

1.背景 windows server 2008 下 每天会有 *.sql数据文件 需要上传到linux 中的mysql数据库中 而运维人员是在 windows server 下使用 xshell 连接 linux 下进行导入导出来进行操作 客户要求:1.点击桌面上的程序达成 上传到linux下的mysql数据库中. 2.要解决的问题 1.通过什么来让数据文件 上传到 linux 下 2.怎么才可以点击一下就达成 window下的数据文件 上传到linux下 3.数据文件到达后 怎么做才可以 在

做这个功能的时候遇到了好多坑,在此感谢一下这篇博客 http://kerry.blog.51cto.com/172631/734087/  ,大家参照这篇博客就能实现该功能. 另外如果想详细了解一下的话可以参考这几篇博客: http://nolinux.blog.51cto.com/4824967/1431426 http://nolinux.blog.51cto.com/4824967/1431742 http://nolinux.blog.51cto.com/4824967/1431811

rsync是linux下的一款快速增量备份工具Remote Sync,是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限.时间.软硬链接等附加信息.rsync是用 “rsync 算法”提供了客户机和远程文件服务器的文件同步的快速方法,而且可以通过ssh方式来传输文件,这样其保密性也非常好.   一.获取rsync源码 http://rsync.samba.org/download.html 如:rsync-3.1.2.tar.gz   二.安装rsync > tar -zx

这篇来说说如何安全的备份,还有一点不同的是上一篇是备份服务器拉取数据,这里要讲的是主服务器如何推送数据实现备份. 一.备份服务器配置rsync文件 vim /etc/rsyncd.conf #工作中指定用户(可以不指定为0) uid = 0 gid = 0 #相当于黑洞.出错定位 use chroot = no #有多少个客户端同时传文件 max connections = 200 #超时时间 timeout = 300 #进程号文件 pid file = /var/run/rsyncd.pid

1.双向同步:unison+inotify 2.单向同步:rsync+inotify python版的pyinotify 本文介绍第二种方法: 1.Inotify 是一个 Linux特性,它监控文件系统操作,比如读取.写入和创建.Inotify 反应灵敏,用法非常简单,并且比 cron 任务的繁忙轮询高效得多.学习如何将 inotify 集成到您的应用程序中,并发现一组可用来进一步自动化系统治理的命令行工具.inotify是一种强大的,细粒度的,异步文件系统时间监控机制,它可以替代crond实现

原文地址:Linux Rsync实现文件同步备份作者:夷北 转自:http://www.mike.org.cn/blog/index.php?load=read&id=639###pp=0 [rsync实现网站的备份,文件的同步,不同系统的文件的同步,如果是windows的话,需要windows版本cwrsync] 一.什么是rsync rsync,remote synchronize顾名思意就知道它是一款实现远程同步功能的软件,它在同步文件的同时,可以保持原来文件的权限.时间.软硬链接等附加信

rsync从linux到linux的文件同步备份 一.环境 需要备份文件的服务器(服务器端):192.168.1.201 (RHEL 5) 接收备份文件的服务器(客户端):192.168.1.202 (CENTOS 5) 二.安装配置 1.服务器端的配置 A.采用系统默认安装的rsync 编辑/etc/rsyncd.conf文件,如果没有则新建一个. vi /etc/rsyncd.conf #[globale] strict modes= yes  #check passwd file port

最近在搞一个shell脚本启动jar文件个关闭jar文件的东东.搞得我都蛋疼了.今天晚上终于弄好了 话说,小弟的linux只是刚入门,经过各方查资料终于搞定了.话不多说,下面开始上小弟写的shell脚本 #!/bin/bash #description: 启动重启server服务 #端口号,根据此端口号确定PID PORT= #启动命令所在目录 HOME='/usr/etc/server/java/server' #查询出监听了PORT端口TCP协议的程序 pid=`netstat -anp|g