push.sh

#!/bin/bash

function push()
{
local ip=$
local user=$
local password=$ local path=$
local localPath=$
local error=$ :>$error
export RSYNC_PASSWORD="$password"
rsync -Cavz $user@$ip::$path $localPath > $error >& # 判断是否发送错误
grep "rsync error" $error > $error"_copy"
cp $error"_copy" $error
rm -f $error"_copy"
} # serverInfo=([]="172.18.11.200" []="log" []="abcabc")
# fileInfo=([]="logs/syslog/project_log.20131226.16" []="./lishujun.log" []="aaa")
# push ${serverInfo[*]} ${fileInfo[*]}

catch.sh

#!/bin/sh

. push.sh

# 错误处理:尝试查找备份文件
function onError()
{
local errFile="err"
local serverInfo=($ $ $) # ip username password
local logInfo=($ $) # srcPath destPath local srcPath=${logInfo[]}
logInfo[]="disk1/"${srcPath##*/}".gz" #备份文件路径
logInfo[]=${logInfo[]}".gz" push ${serverInfo[*]} ${logInfo[*]} $errFile if [ -s $errFile ]; then
echo "the file ${logInfo[0]} was not found"
fi
} # 抓取指定日期指定时间的日志文件
function catchLogByHour()
{
local errFile="err"
local serverInfo=($ $ $) # serverInfo=(ip username password)
local logInfo=($ $) # logInfo=(srcPath destPath)
local endHour=$ local i=
while [ $i -le $endHour ];
do
hour=$i
if [ $hour -lt ]; then
hour=""$hour
fi

          local hourLogInfo # 声明为局部变量
hourLogInfo[]=${logInfo[]}"."$hour
hourLogInfo[]=${logInfo[]}"."$hour
push ${serverInfo[*]} ${hourLogInfo[*]} $errFile if [ -s $errFile ]; then
onError ${serverInfo[*]} ${hourLogInfo[*]}
fi i=`expr $[$i+]`
done
} # for test
# logDate=""
# serverInfo=([]="172.18.11.200" []="log" []="abcabc")
# logInfo=([]="logs/syslog/project_log."$logDate []="./data/project_log."$logDate []="")
# catchLogByHour ${serverInfo[*]} ${logInfo[*]}

main.sh

#! /bin/sh

cd `dirname $`

. catch.sh

if [ $# -eq  ]; then
# 取昨天数据
logDate=`date -d"1 day ago" +'%Y%m%d'`
hour=
else
# 取指定日期时间 today=`date +'%Y%m%d'`
logDate=$
if [ "$1" == "$today" ]; then
# 取当天数据已产生的数据
hour=`date -d "1 hour ago" +"%H"`
else
# 取历史数据
hour=
fi
fi serverInfo=([]="172.18.11.200" []="log" []="abcabc")
logInfo=([]="logs/syslog/project_log."$logDate []="./data/project_log."$logDate []=$hour)
catchLogByHour ${serverInfo[*]} ${logInfo[*]}

因为坚持了模块化的设计,所以理论上我可以在不惊动catch.sh, main.shpush.sh 增加失败重试的功能:

#!/bin/bash

MAX_RE_CONNECT=
SLEEP_TIME= # 实际推送动作
function pushAction()
{
local ip=$
local user=$
local password=$ local path=$
local localPath=$
local error=$ :>$error # 清空文件相当于rm,touch命令
export RSYNC_PASSWORD="$password"
rsync -Cavz $user@$ip::$path $localPath > $error >& # 判断是否发送错误
grep "rsync error" $error > $error"_copy"
cp $error"_copy" $error
rm -f $error"_copy"
} # 失败重新尝试,一旦超过最大尝试次数认为无法完成
function push()
{ local serverInfo=($ $ $) # ip username password
local logInfo=($ $) # srcPath destPath
local error=$ local i=
while [ $i -lt $MAX_RE_CONNECT ]
do
pushAction ${serverInfo[*]} ${logInfo[*]} $error # no error
if [ ! -s $error ]; then
break
fi echo "try again..."
sleep $SLEEP_TIME
i=`expr $[$i+]`
done
} # for test
# serverInfo=([]="172.18.11.201" []="log" []="wappplog")
# fileInfo=([]="logs/syslog/project_log.20131229.16" []="./lishujun.log" []="aaa")
# push ${serverInfo[*]} ${fileInfo[*]}
wappp@ppcn--:/work/stat/read/catchlo

刚才想了一下,我觉得我近两年来虽然编码能力大增,但是写出的代码质量还是需要改善,为什么呢?当然坚持我是对的时候,多半我的设计是没有问题的,但是我在实现设计的时候会出问题,例如我会把a == b.c 写成a==b 在动态语言下这样都不会报错,所以bug混进来了,其实只要发现很好解决,但问题我自己一般都不会发现,需要测试人员或者其他人发现我去检查,发现,哦,原来是这样的啊,然后解决掉

我刚才想了一下,代码想要写的质量好还是应该做到这么几点,通过我这个例子:

1, 态度, 要有一个写高质量代码的心

2, 切割,合适的把代码进行切割,让每一个部分适于测试

3, 在脑子里进行单元测试,把每一种情况都执行一下

例如我的mian.sh的测试用例

1 不输入参数 - 是否在指定目录抓取到昨天的日志

2 输入前天的日期  - 是否抓到非压缩的文件

3 输入历史日期 - 是否抓到压缩的文件

4 输入当前日期 - 是否抓到今天前一个小时的所有非压缩文件

5 输出过于久远的日期以至于肯定抓不到如何文件 - 是否提示文件was not found

因为鄙人的天资所限,我实在不能把这个测试从main.sh一直跟到catch.sh和push.sh。我只能单个模块进行模拟测试,在每个模块里验证每个模块的功能,

重构后的程序:通过rsync命令抓取日志文件的更多相关文章

  1. 重构前的程序:通过rsync命令抓取日志文件

    基本概况: 我有一台服务器每天每个小时都会生成一个日志文件,这些日志文件会被保留2天,超过2天会被一个程序压缩放到备份目录,日志文件的文件名是有命名要求的,例如:project_log.2013010 ...

  2. Android端抓取日志

    一.背景: ADT-Bundlee for Windows 是由GoogleAndroid官方提供的集成式IDE,已经包含了Eclipse,你无需再去下载Eclipse,并且里面已集成了插件,它解决大 ...

  3. 在Scrapy项目【内外】使用scrapy shell命令抓取 某网站首页的初步情况

    Windows 10家庭中文版,Python 3.6.3,Scrapy 1.5.0, 时隔一月,再次玩Scrapy项目,希望这次可以玩的更进一步. 本文展示使用在 Scrapy项目内.项目外scrap ...

  4. 抓取Dump文件的方法和工具介绍

    一.Windows系统的任务管理器里抓dump 启动任务管理器,选中某个进程,右键,弹出菜单"创建转储文件" 注意事项: 当你在64位Windows系统上抓32位进程的dmup文件 ...

  5. Shell脚本 | 抓取log文件

    在安卓应用的测试过程中,遇到 Crash 或者 ANR 后,想必大家都会通过 adb logcat 命令来抓取日志定位问题.如果直接使用 logcat 命令的话,默认抓取出的 log 文件包含安卓运行 ...

  6. WinDbg抓取dmp文件

    应用程序发生异常时抓取dmp: adplus.vbs -crash -pn w3wp.exe -y srv*c:\symbols*http://msdl.microsoft.com/download/ ...

  7. 下载远程(第三方服务器)文件、图片,保存到本地(服务器)的方法、保存抓取远程文件、图片 将图片的二进制字节字符串在HTML页面以图片形式输出 asp.net 文件 操作方法

    下载远程(第三方服务器)文件.图片,保存到本地(服务器)的方法.保存抓取远程文件.图片   将一台服务器的文件.图片,保存(下载)到另外一台服务器进行保存的方法: 1 #region 图片下载 2 3 ...

  8. 使用echo命令清空tomcat日志文件

    使用echo命令清空日志文件echo -n "" > /server/tomcat/logs/catalina.out ==>要加上"-n"参数,默 ...

  9. Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件

    Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件 前面我写了一篇博文Shell 从日志文件中选择时间段内的日志输出到另一个文件,利用循环实现了我想要实现的内容. 但是用这个脚本的同 ...

随机推荐

  1. Marzoni(玛佐尼)意大利顶级西服面料之一_HollandandSherry_新浪博客

    Marzoni(玛佐尼)意大利顶级西服面料之一_HollandandSherry_新浪博客 Marzoni(玛佐尼)意大利顶级西服面料之一 (2013-01-08 17:30:04) 转载▼

  2. poj2586

    千年虫病毒 一个财务公司受到电脑病毒攻击所以丢失了一部分年终财务的数据. 他们所有记得的东西都在Inc里面储存着,在1999年之前公司要每个月都贴出盈利和亏损情况.亏损的是d,由于收到了攻击,他们不记 ...

  3. Oracle Locks之DML锁

    Oracle通过锁来实现数据库的并发控制 Oracle Database automatically locks a resource on behalf of a transaction to pr ...

  4. linux —— 学习笔记(环境变量的设置)

    目录 环境变量概要 与环境变量相关的文件 设置环境变量 注意以及相关 1.环境变量概要 环境变量,简单来说,是储存了环境信息的变量.它可以让你在不指明全部路径的情况下执行某脚本或某应用程序,比如在 l ...

  5. C# Eval在aspx页面中的用法及作用

    Eval( " ")和Bind( " ") 这两种一个单向绑定,一个双向绑定,bind是双向绑定,但需数据源支持 ASP.NET 2.0改善了模板中的数据绑定操 ...

  6. linux下ssh免密登陆

    如果 有A.B两台主机: 要实现的效果: A主机ssh登录B主机无需输入password: 加密方式选 rsa|dsa均能够.默认rsa 做法: 1.登录A主机 2.ssh-keygen -t [rs ...

  7. [转] Nginx + CGI/FastCGI + C/Cpp

    接着上篇<Nginx安装与使用>,本篇介绍CGI/FASTCGI的原理.及如何使用C/C++编写简单的CGI/FastCGI,最后将CGI/FASTCGI部署到nginx.内容大纲如下: ...

  8. Oracle 存储过程(2)

    http://www.cnblogs.com/chinafine/archive/2010/07/12/1776102.html http://blog.itpub.net/29485627/view ...

  9. AS 2.0新功能 Instant Run

    Instant Run上手 作为一个Android开发者,很多的时候我们需要花大量的时间在bulid,运行到真机(虚拟机)上,对于ios上的Playground羡慕不已,这种情况将在Android S ...

  10. sql server identity限制

    identity属性是依赖于表的,它不是一种独立的序列机制,不能随意使用它生成新值. 标识值是在insert语句执行时生成的,不是在执行之前生成的. identity属性是以异步的方式分配标识值.这意 ...