删除半年之前的日志 find 后面紧跟目录 .为当前目录 -type f 指定查找的是文件 -mtime +180  查找180天之前的 -name  文件名筛选 -exec -rm -rf  执行的命令 {} \;   find后面固定添加 find /data/Log/ -mtime +180 -name "*.log" -exec rm -rf {} \;…

数据分析对于网站运营人员是个非常重要的技能,日志分析是其中的一个.日志分析可以用专门的工具进行分析,也可以用原生的shell脚本执行,下面就随ytkah看看shell分析日志常用指令有哪些吧.(log_file表示所在路径,完整的路径像这样:/www/var/***.log) 1.查看当天有多少个IP访问: awk '{print $1}' log_file|sort|uniq|wc -l 2.查看某一个页面被访问的次数: grep "/index.php" log_file | wc…

Shell 从日志文件中选择时间段内的日志输出到另一个文件 情况是这样的,某系统的日志全部写在一个日志文件内,所以这个文件非常大,非常长,每次查阅的时候非常的不方便.所以,相关人员希望能够查询某个时间段内的日志.我简单些了一个脚本来实现了这个效果. 不过我的实现不是最佳方案,性能上还有很大的优化空间,但我目前水平有限,没有想到更好的方法. 分析日志 5074400:2017-08-01T01:34:22.724252+00:00 test_rest_1.test_default bpmn_tes…

一.需求分析 1. 日志文件每天生成一份(需要将日志文件定时上传至hdfs) 2. 分析日志文件中包含的字段:访问IP,访问时间,访问URL,访问状态,访问流量 3. 现在有"昨日"的日志文件即logclean.jar 3. 需求指标 a. 统计PV值 b. 统计注册人数 c. 统计IP数 d. 统计跳出率 f. 统计二跳率 二.数据分析 1. 数据采集 使用shell脚本定时上传 2. 数据清洗 过滤字段 格式化时间等字段 3. 数据分析 使用一级分区(date) 4. 数据导出 s…

最近小张的爬虫程序越来越多,可当爬虫程序报错,不能及时的发现,从而造成某些重要信息不能及时获取的问题,更有甚者,遭到领导的批评.于是就在想有没有一种方法,当爬取信息报错的时候,可以通过邮件或者短信的方式及时通知小张呢,于是我进行相关搜索,还真让我找到了^_^. 为了避免大家踩坑,以下为自己亲测,其中出现了一些bug的相关解决方法我已做说明,文章最后有我的源代码. 该程序使用场景说明:主要用于Linux服务器爬虫程序日志监控,如出现关键字异常则触发相应的动作或告警操作,通知到邮件联系人,让你及时了…

一般线上服务的日志都是采用回滚的防止,写一定数量的日志 或是有管理工具定期去转移老旧日志 前几天删除一个测试环境的日志,只保留两天的日志,结果把正在写的日志都给删掉了,不得不重启了服务,经过这一次的错误,积攒了一些删除日志的经验 1.不同服务的日志更新速度是不同的,有的日志一秒就会写一个规定大小的文件,有的服务日志可能会一个月也写不满一个文件,或者根本就不写文件,所以在删除日志的时候要考虑不同服务文件时要弄清一下几点:系统显示的时间是什么时间(创建时间,修改时间,访问时间),更新速度,后缀名,删…

#nginx日志统计独立ip的个数: awk '{print $1}' /path-to-log-dir/access.log | sort | uniq | wc -l #查询访问最多的前10个ip #查看某段时间的 grep "2012:0[3-6]" nginx.log | Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp TI…

在执行脚本的时候我们常常需要将执行过程全部输出到日志里,以备出现报错时可以跟踪分析,开始我用的是exec: exec 1>info.log #把全部执行过程输出到info日志中 exec 2>error.log #把系统抛出和脚本定义的错误输出到error日志中 但后来发现这样很多需要显示到屏幕的内容也不出来的,怎么样才能保证即在显屏的同时输出日志呢?我选择了使用fifo管道文件和tee mkfifo info.fifo mkfifo error.fifo #创建管道文件 cat info.f…

0.shell的变量同环境变量不同,存在用户环境区. 变量赋值的方式是: variable_name = variable_value a= "hello" $a对a进行取值 关于变量,还需要知道几个与其相关的Linux命令. 首个字符必须为字母(a-z,A-Z). 中间不能有空格,可以使用下划线(_). 不能使用标点符号. env用于显示用户环境区中的变量及其取值: set用于显示本地数据区和用户环境区中的变量及其取值: unset用于删除指定变量当前的取值,该值将被指定为NULL:…

#!/bin/bash #清除日志脚本 LOG_DIR=/var/log ROOT_UID=0 #用户id为0的 ,即为root if [ "$UID" -ne "$ROOT_UID" ] #如果用户不是root,则不执行,退出 then echo "Must be root run this sript!" exit 1 fi cd $LOG_DIR || { #如果切换目录失败,退出8i echo "Cannot change to…