shell脚本实现自动压缩一天前的日志文件 ,并传到ftp服务器上 naonao_127关注2人评论19401人阅读2012-06-08 11:26:16         生产环境下脚本自动备份脚本是企业中重要工具.备份数据和日志等文件是公司的重要资产,所以有句话叫“备份是救命的稻草”(——出自抚琴煮酒<构建高可用Linux服务器>一书).         此脚本的作用是将制定目录下的日志文件备份,只备份当天和一天前的日志(日志命名格式精确到小时),并以当天的年月日为格式进行压缩,然后传送到指

以maven项目作为构建工具为例,首先引入使用logback需要的3个依赖,需要注意使用logback是需要引入slf4j-api的,因为logback是基于slf4j的 <!--logback--> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-core</artifactId> <version>1.2.3</version&

鉴于在调试logback和log4j的文件切割一直无法成功,随性用shell写个脚本用来切割tomcat下的日志文件(大家如果有在logback或log4j使用文件切割成功的话,可以留下使用方式,先谢谢了) 1:废话少说,直接贴上脚本: #!/bin/sh log_dir=/var/log/tomcat monitor_file=$1 #tomcat目录下的catalina.out文件的绝对路径 file_size=`du -m $monitor_file | awk '{print $1}'`

编写shell脚本,实现nginx日志每天自动备份到指定文件夹! 需要的命令mv , corntab -e(定时任务),shell脚本 这里先说一下corntab: https://www.cnblogs.com/longjshz/p/5779215.html  这里有一篇详细介绍corn的, 这里只简单说一下用法: corntab -e 就可以编写我们需要的定时任务,编辑之后保存即可,需要按指定格式: 比如: 0 6 * * * echo "Good morning." >&g

在做性能测试的时候,linux服务器时常会产生大量数据,如日志信息,图片信息,文件信息等,压测一段时间后,导致服务器磁盘空间暂满而崩溃,每天手动清理比较麻烦, 利用shell脚本自动清理,脚本如下 1.删除文件命令: find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \; 实例命令: find /home/weblogic/rc-server-tomcat-8081/logs -mtime +30 -name "*.txt&qu

1.获取远程网路的图片 /** * 根据地址获得数据的字节流 * * @param strUrl * 网络连接地址 * @return */ public static byte[] getImageFromNetByUrl(String strUrl) { try { URL url = new URL(strUrl); HttpURLConnection conn = (HttpURLConnection) url.openConnection(); conn.setRequestMetho

当系统出现问题时,分析java虚拟机GC日志可以帮助我们定位问题,一般来说, 我们可以通过制定JVM参数使tomcat保存GC日志文件,具体实现如下: Windows下: 找到tomcat的解压目录,进入bin文件夹,修改catalina.bat,在第一行加入如下代码 set "JAVA_OPTS=%JAVA_OPTS% -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:D:\MyDisk\gc.log" GC日志文件路径可自己制定,

1 Shell脚本案例 删除超过30天的日志文件 #!/bin/bash log_path=/mnt/software/apache-tomcat-.M22/logs d=`date +%Y-%m-%d` d90=`date -d'30 day ago' +%Y-%m-%d` #cd ${log_path} && cp catalina.out $log_path/cron/catalina.out.$d.log #echo > catalina.out rm -rf $log_pa

1.准备jar  :log4j-1.2.17.jar,commons-logging-1.2.jar,这2个就可以了,其他关于日志的jar包就不要加进来了,在优先级上会有冲突. 2.定义一个类,继承RollingFileAppender类,这个类是按照日志大小滚动生成日志,并把日志编号.我就在这个类基础上重新写了其中的一些方法,加上日期和删除功能,稍加改动就行了. package com.hm.sage.bigdata.spark.log; import java.io.File; import

shell脚本基本技能是设置变量,输出信息.如下: sh脚本输出到控制台 将以上脚本保存到test.sh脚本文件中,并赋予可执行权限:sudo chmod +x test.sh 执行脚本:bash test.sh 控制台输出: 输出到控制台,并且写入日志文件: 执行脚本,会在当前目录下生成 log20190826.log文件,打开它发现成功写入日志信息: 脚本代码: #!/bin/bash #文件名:test.sh name="xiongzaiqiren" echo $name ech

android 手机日志保存方法如下: 前置条件:已安装adb 1,手机usb连接电脑,打开USB调试模式(注意仅连接一台手机设备) 2,win+R输入cmd打开命令窗口,输入指令:adb devices,查看手机是否连接(显示设备号即连接成功) 3,开始保存日志:输入指令:adb logcat -v time > .\\logcat.log(保存到当前文件下) 4,继续操作app 5,操作结束后,ctrl+c,结束保存日志 6,到保存路径下查看日志文件 日志成功保存后,开发人员问bug出现场景

场景: python获取到网页,把网页gzip打包,并Base64编码保存: 由java负责Base64解码并解压二进制成html 遇到的问题: 1.python 的request,缺省就把gzip响应包解压了,导致有一次损耗(解压的html再次压缩),时间关系,没有解决这个问题 2.python错误理解了二进制转base64,将二进制变成字符串后才base64编码,就没有起到压缩的意义,报文大小还更大了. 3.html有GB2312 GBK的, 如果希望 后端处理轻松,需要在获取是就转义成UT

昨日web测试环境登录白屏,慌忙登上机器查看,半天没找到问题. 不知哪根筋不对,df -h 一看 , /dev/sda1 已经100%. 立马 du -sh *,发现log日志有点大. 手工清理后,业务恢复. 当然,这只是开始.考虑到后续免维护,还是搞个crontab来处理. 查了下,可以一行命令搞定,实测有效.命令如下: find /data/log/ -mtime +10 -name "*.log" -exec rm -rf {} \; 简单解释下,上面一行,表示,在/data/l

版权声明:笔记整理者亡命小卒热爱自由,崇尚分享.但是本笔记源自www.jtthink.com(程序员在囧途)沈逸老师的<web级mysql颠覆实战课程 >.如需转载请尊重老师劳动,保留沈逸老师署名以及课程来源地址. 现在我们接着上节课,完成第二个功能,不管成功不成功都记录一个日志. 一.回顾上节课内容,我们在user_log表中添加一个字段 user_id.  在上一节课的存储过程新增一行代码,如下: BEGIN ; set @user_name=''; set @_result='login

1:grep命令: grep -v  "char"  file_name 匹配不包括"char"的文本 grep -n -w "char" file_name 完整匹配某个字符 grep ^s $s  分别为匹配行首为s的 或者行末为s的文本. 2:tr 命令 tr set1  set2   替换集合set1 为set2 tr -s set1  压缩字符 tr -t  ":"     指定分隔符 默觉得空格 tr -d &qu

zabbix添加对自定义无规则日志文件的监控 项目背景及思路: zabbix自带有针对日志文件的监控,自带的监控只能监控到指定文件或者正则匹配的固定日志文件,但当需要监控的文件名没有规律的时候自带监控就不适用了 此次需要监控关键的esb企业总线系统日志,当tail -f esb日志出现大量failture的时候就是业务可能出现故障的时候,需要触发警报 具体步骤: 1.修改zabbix-agent客户端配置: a.visudo修改配置 添加zabbix用户的sudo权限 # 添加如下这行 zabb

#!/bin/bash # 当/var/log/syslog大于68B时 if ! [ -f /var/log/syslog ] then echo "file not exist!" exit fi if [ `ls -l /var/log/syslog|awk '{print $5}'` -gt $(68) ] then cat /var/log/syslog >> ~/log/history # 将日志备份 echo >> ~/log/history #

.tar 解包:tar xvf FileName.tar打包:tar cvf FileName.tar DirName(注:tar是打包,不是压缩!)———————————————.gz解压1:gunzip FileName.gz解压2:gzip -d FileName.gz压缩:gzip FileName .tar.gz 和 .tgz解压:tar zxvf FileName.tar.gz压缩:tar zcvf FileName.tar.gz DirName———————————————.bz2

#!/bin/bash while [ 1 ] do pre_request_time_count=`cat /var/log/nginx/access.log |awk '{print $NF}'|awk -F '"' ' $2>3 '|awk -F '"' '{print $2}'|wc -l` # 取 request_tme 大于3秒的计数值 echo $pre_request_time_count sleep 300 last_request_time_count=`ca

定时备份日志 设置执行权限 [root@VM_0_10_centos shellScript]# chmod a+x logBackup,sh 脚本内容 [root@VM_0_10_centos shellScript]# cat logBackup,sh #!/bin/bash#===========================================# BACKUP LOGS#===========================================# 设置显示的日期

tee 重定向输出到多个文件   在执行Linux命令时,我们既想把输出保存到文件中,又想在屏幕上看到输出内容,就可以使用tee命令 要注意的是:在使用管道线时,前一个命令的标准错误输出不会被tee读取. tee file         //覆盖tee -a file     //追加tee -            //输出到标准输出两次tee - -          //输出到标准输出三次tee file1 file2 -    //输出到标准输出两次,并写到那两个文件中ls | tee