好久没有截取nginx/haproxy 中 的日志了,竟有点不熟悉了. 记录一下,以免以后忘记. NGINX 日志格式: 192.168.1.26 - - [14/Sep/2017:16:48:42 +0800] "GET /ui/favicons/favicon-16x16.png HTTP/1.1" 304 0 "http://192.168.1.124/app/kibana" "Mozilla/5.0 (Windows NT 10.0; WOW64)…

想要取出文件里面时间是9点到12点的数据,文件内容如下: 2012-09-05 01:48:47,150 WARN  [WorkManager(3)-72] [service.PhoneRangeManager] phone range domain object not found id 1834930 2012-09-05 02:48:47,293 WARN  [WorkManager(3)-28] [service.PhoneRangeManager] phone range domain…

前言 这两天自己挽起袖子处理日志,终于把AWK给入门了.其实AWK的基本使用,学起来也就半天的时间,之前总是靠同事代劳,惰性呀. 此文仅为菜鸟入门,运维们请勿围观. 下面是被处理的日志的示例,不那么标准,但不标准的日志正是标准的情况. [2015-08-20 10:00:55.600] - [192.168.0.73/192.168.0.75:1080 com.vip.xxx.MyService_2.0 0 106046 100346 90ms 110ms] 基本语句 最基本的语句,以空格做分割…

起因 这是今天我线上出了一个bug,需要查看日志并统计一个我需要的信息出现的频率,可以叫做分组统计. 日志文件部分内容 00:09:07.655 [showcase_backend][topsdk] ERROR - 2017-06-27 00:09:07.655^_^23090346^_^taobao.item.recommend.add^_^10.28.42.60^_^Linux^_^20^_^http://gw.api.taobao.com/router/rest^_^app_key=230…

假设要在 api.log.201707201830 文件中,(此文件的多个字段数据以不可见字符^A(键盘上按下Ctrl+V+A)分隔),要输出第70个字段: awk -F '^A' '{print $70}' api.log.201707201830 要判断第25个字段=9的数据,输出第70个字段:awk -F '^A' '($25==9){print $70}' api.log.201707201830 如果判断的值是字符串,就要加双引号(此案例以\x01分隔)awk -F '\x01' '(…

#!/bin/bash #好多地方可以优化,先记录下,便于以后使用 dir="/logs/$1"file="/logs/$1/requests.log"if [ $1 ];then if [[ ! -d $dir && ! -f $file ]];then echo "$dir is not exist" else #过滤指定内容到文件,便于以后使用 cat $file | grep '"game_id":&q…

1.截取时间段 截取 2019-06-25 10:10 到 2019-06-25 10:20 之间的日志记录,apollo-service.log 为你要截取的文件名称, new2.log 截取之后保存日志的文件名称. sed -n '/2019-06-25 10:10/, /2019-06-25 10:20/p' catalina.out  > new1.log sed -n '/2019-06-25 10:20:47/, /2019-06-25 10:26:47/p' catalina.ou…

function test() { i = ) { system("sleep 1") "date +'%Y-%m-%d %H:%M:%S'" | getline mydate; close("date +'%Y-%m-%d %H:%M:%S'"); print "[INFO]["mydate"]"; i++ } } { test() } function test() { i = ) { system(&…

1.把字符串的变量存入到其他变量中 1.1.编辑 shell 文件 [root@m910-120 test]# vi awkTest.sh ips=10.0.204.217:10.0.204.218 var1=`echo $ips|awk -F ':' '{print $1}'` var2=`echo $ips|awk -F ':' '{print $2}'` echo "awk 处理后结果:" echo $var1 echo $var2 1.2.测试 awk 处理后结果: 10.0.…

awk日志分割 1. awk实现日志按照日期分割 #!/bin/bash DATE=$(date -d yesterday +%Y-%m-%d) awk  'BEGIN{RS="'$DATE'"} /'ERROR'|'OutOfMemory'/ { print RS, $0}' pay-front.log.$DATE  >> pay-front.error.log.$DATE ###参考http://blog.51yip.com/shell/1151.html ###改进例…