weblogic每天日志合并shell脚本 [个人记录]【转】【补】

from RogerZhu modified by King

sh logback.rb "/data/logs/" "/tmp/domain" "analysis esb"

目录结构如下

/data/script/logback目录下有文件(该目录用于存放需要执行的shell脚本,shell可以以任何后缀结尾,这里定义为.rb是因为editplus文本编辑器可以着色显示rb文件中的关键字)

logback.rb

logMerge.rb

/data/tarPath目录下暂无文件(该目录用于存放压缩后的tar文件)

..

/data/bea/weblogic11/user_projects/domains/zsins_domain/servers/esb_server/logs有文件

access.log

access.log00001

access.log00002

access.log00003

access.log00004

access.log00005

access.log00006

diagnostic_images

esb_server.log

esb_server.log00027

esb_server.log00028

esb_server.log00029

esb_server.log00030

esb_server.log00031

esb_server.log00032

esb_server.log00033

esb_server.out

esb_server.out00001

esb_server.out00002

esb_server.out00003

esb_server.out00004

主shell文件logback.rb

##进入logback.rb所在文件目录

logbackScriptPath=/data/script/logback/

##logbackScriptPath=$(cd "$(dirname "$0")" && pwd)该语句可以动态获取当前执行文件所在目录

##定义压缩后的tar文件存放路径

tarTargetPath=/data/tarPath/

cd $logbackScriptPath

##定义domain所在地

domainPath=/data/bea/weblogic11/user_projects/domains/base_domain

#定义域名domain/server/下的需要做日志合并的几个server文件夹名 用空格分隔,如"esb_server ilog_server"

multiServers="esb_server"

##定义当天的lock文件名

#old:    lockfile="`date +%Y%m%d`.lock"

lockfile=$(date +%Y%m%d).lock

##判断当前lockback.rb所在文件目录中是否存在lockfile文件名，如存在则表明已执行过，不存在则表明今天还未执行过

if [ -e $lockfile ]

then

    echo "程序今日已执行"

    exit

else

    echo "backup begin"

fi

##for循环server名，当localservers = esb_server，以此类推,in中包含几个则循环几次

for serName in $multiServers

do

    ##创建各系统的独立目录用以放置压缩文件

    systemTarPath=$tarTargetPath${serName}

    if [ ! -e $systemTarPath ]

        then

            mkdir $systemTarPath

        else

            echo $systemTarPath 已存在

    fi

    #参数定义

    #old:    back_path=`date +%Y%m%d`

    #old :    back_path=`echo "${back_path}_${serName}"`

    back_path=$(date +%Y%m%d)_${serName}

    echo -----------------------------------------------------------absolute backPath is : $logbackScriptPath$back_path

    cd $domainPath/servers

    if [ ! -e $back_path ]

        then

            mkdir $back_path

        else

            echo $back_path is existed

    fi

    echo -----------------------------------------------------------logback pwd is $(pwd)

    #调用其它shell脚本,并传2个参数,到时用$1 $2来分别取参

    sh $logbackScriptPath/logMerge.rb $serName $domainPath

    echo -----------------------------------------------------------logback pwd is $(pwd)

    mv $domainPath/servers/$serName/logs/${serName}_$(date +%Y%m%d).out        ./$back_path/

    mv $domainPath/servers/$serName/logs/${serName}_$(date +%Y%m%d).log        ./$back_path/

    mv $domainPath/servers/$serName/logs/access_$(date +%Y%m%d).log            ./$back_path/

    tar cvf $back_path.tar $back_path

    rm -rf ./$back_path

    mv ./$back_path.tar $systemTarPath

done

cd $logbackScriptPath

echo 'backup finished...' >>$lockfile

被引用shell文件logMerge.rb

#对单个server下面的access.logXXXX,esb_server.outXXX,esb_server.logXXX做日志合并

#serName=$=esb_server  通过传参引用

serName=$

#domainPath=$=/data/bea/weblogic11/user_projects/domains/base_domain 通过传参引用

domainPath=$

keepfile="${serName}.out"

keepfilelog="${serName}.log"

accesslog=access.log

# old:    newdate=`date +%Y%m%d`

newdate=$(date +%Y%m%d)

cd $domainPath/servers/$serName/logs/

ls -lrt ${keepfile}* | awk '{print $9;}' | while read filename

do

    cat $filename >> ${serName}_${newdate}.out

    if [ $filename != $keepfile ]

        then

            rm $filename

        else

            echo 'null' > $filename

    fi

done

ls -lrt ${keepfilelog}* | awk '{print $9;}' | while read filename

do

        cat $filename >> ${serName}_${newdate}.log

        if [ $filename != $keepfilelog ]

                then

                        rm $filename

                else

                        echo 'null' > $filename

        fi

done

ls -lrt ${accesslog}* | awk '{print $9;}' | while read filename

do

        cat $filename >> access_${newdate}.log

        if [ $filename != $accesslog ]

                then

                        rm $filename

                else

                        echo 'null' > $filename

        fi

done

echo -----------------------------------------------------------logMerge pwd is $(pwd)

开始执行以上shell脚本,如果异常,请参考下一小节"特别声明"

控制台显示如下表示正常执行,而且在/data/script/logback目录会生成一个今日已执行的日志文件

[weblogic@dwxapptest logback]$ pwd
/data/script/logback
[weblogic@dwxapptest logback]$ sh ./logbak.rb
-----------------------------------------------------------back_path is 20170802_ping
-----------------------------------------------------------logback pwd is /data/bea/weblogic11/user_projects/domains/base_domain/servers
-----------------------------------------------------------logMerge pwd is /data/bea/weblogic11/user_projects/domains/base_domain/servers/ping/logs
-----------------------------------------------------------logback pwd is /data/bea/weblogic11/user_projects/domains/base_domain/servers
20170802_ping/
20170802_ping/access_20170802.log
20170802_ping/ping_20170802.log
20170802_ping/ping_20170802.out
[weblogic@dwxapptest logback]$

完成在/data/tarPath目录下生成日志合并后的压缩文件

20170802_esb_server.tar

特别声明-编码问题

快速解决入口--解决执行脚本报syntax error: unexpected end of file或syntax error near unexpected token `fi'错误的问题【纯转】【$$$$$】 http://www.cnblogs.com/whatlonelytear/p/9060380.html

由于windows环境生成的文件默认是ANSI编码的,而linux环境下默认的是UTF-8编码的.

所以如果直接把以上shell脚本代码贴到windows的txt文件中,再上传到linux环境,其实由于编码不一致的问题,运行该shell脚本运行会报类似错误如下:

: No such file or directoryta/script/logback/

: command not found

logback.rb: line 18: syntax error near unexpected token `else'

'ogback.rb: line 18: `else

从这个错误信息逆推,发现连打印数据都有丢失,于是怀疑是编码不一致导致的问题.

那么如何确定windows和linux环境文件的编码呢,其中一个方法就是把文件都放到windows环境中,然后用文本编辑器打开,再另存为时会显示该文件默认编码.如下图所示:

那么我们如何把ANSI文件转换成UTF-8文件呢,可按如下两步骤:

把windows下的文件上传到linux系统
在linux系统中,在当前文件所在目录执行以下语句,把ANSI转成UTF8
```
iconv -f GBK -t UTF-8 logback.rb > logbackUTF-8.rb 
```

iconv参考资料

http://blog.csdn.net/s1070/article/details/52302713

http://blog.csdn.net/w1242245/article/details/20483183

此时再把该logbackUTF-8.rb文件拉取到windows,会发现已经是UTF-8编码的了.

用vi编缉器也可以对比出前后差异,发现原始logback.rb会乱码,而logbackUTF-8.rb显示正常

但是linux下执行sh logback.rb还是报错,仔细对比之前linux环境成功的脚本文件,发现没有特别地差异了,于是还是怀疑windows环境修改的文件到linux后导致了异常.

于是用vi -b logback.rb查看文件发现后面多了^M (之前遇到过这个问题)

[weblogic@dwxapptest logback]$ vi -b logback.rb 

##进入lockback.rb所在文件目录^M

logbackScriptPath=/data/script/logback/^M

##定义压缩后的tar文件存放路径^M

tarTargetPath=/data/tarPath/^M

cd $logbackScriptPath^M

##定义domain所在地^M

domainPath=/data/temp/domain^M

#定义域名domain/server/下的需要做日志合并的几个server文件夹名 用空格分隔,如 esb_server ilog_server^M

multiServers=esb_server ^M

##定义当天的lock文件名^M

#old:    lockfile="`date +%Y%m%d`.lock"^M

lockfile=$(date +%Y%m%d).lock^M

##判断当前lockback.rb所在文件目录中是否存在lockfile文件名，如存在则表明已执行过，不存在则表明今天还未执行过^M

if [ -e $lockfile ] ^M

then^M

    echo "程序今日已执行"     >> $lockfile^M

    #exit^M

else    ^M

    echo "backup begin"     >>$lockfile^M

fi^M

看来就是这些^M搞的鬼了,接下来我们去掉这些^M,用以下链接中的三种方式都可去掉.在此不详述.

http://www.cnblogs.com/whatlonelytear/articles/7269202.html(我的笔记)

syntax error near unexpected token 脚本报错误解决

最后成功执行shell脚本.

由于合并的是每天的日志,所以需要把2个shell脚本做成定时任务,每晚23:55:00左右开始执行一次

我的logback3arg.rb记录

##用以下带3参数的命令启动本程序sh logback3arg.rb "/data/tarPath/" "/tmp/domain" "esb_server ilog_server"

sh /data/script/zsins_domain/logback/logback3arg.rb "/data/logs/zsins_domain_logs/" "/data/bea/weblogic11/user_projects/domains/zsins_domain" "esb_server ilog_server kingtool"

sh /data/script/zsins_domain/logback/logback3arg.rb "/data/logs/other_domain_logs/" "/tmp/domain" "analysis"

其它参考

Shell命令_Cron使用

shell book