前言

这两天自己挽起袖子处理日志,终于把AWK给入门了。其实AWK的基本使用,学起来也就半天的时间,之前总是靠同事代劳,惰性呀。

此文仅为菜鸟入门,运维们请勿围观。

下面是被处理的日志的示例,不那么标准,但不标准的日志正是标准的情况。

[2015-08-20 10:00:55.600] - [192.168.0.73/192.168.0.75:1080 com.vip.xxx.MyService_2.0 0 106046 100346 90ms 110ms]

基本语句

最基本的语句,以空格做分割,提取所需的列:

awk '{print $0,$1,$2,$(NF-1),$NF,$NF-$(NF-1)}’ access.log

1. 输入

AWK是针对文件或管道中每行输入的处理语言。所以也可以从管道输入:

grep “xxx” access.log | awk '{print $1}’

但下面这样写就会成为一个Linux老梗的主角,awk不需要不需要cat的。

cat access.log | awk '{print $1}'

2.语句定义

可以快速的用单引号’ ’,把所有语句写成一行。

也可以用-f 指定文件,文件里可以任意换行,增加可读性和重用性。

所有执行语句用{}括起来,{}的外面是一些高级的东西比如过滤条件,见后。

3. 列引用

$0代表整行所有数据,$1代表第一列(终于不是程序员数数从0开始了)。

NF是个代表总列数的系统变量,所以$NF代表最后一列,还支持$(NF-1)来表示倒数第二列。

还支持列之间的运算,如$NF-$(NF-1)是最后两列的值相减。

只写一个print 是 print $0的简写,打印整行所有数据。

4. 输入的列分隔符

默认以空格做分割符,也可以重新指定,下例指定了':'

awk -F ':' '{print $1,$2}’ access.log

也可以正则表达式定义多个分割符,下例指定了 '-' 和 ':'

awk -F '[-:]' '{print $1,$2}’ access.log

5. 输出的列间隔

print $1,$2 中间的','逗号,代表打印时第1与第2列之间使用默认分隔符号也就是空格,也可以用” ”来定义其他任意的字符:

awk '{print $1 "\t" $2 " - " $3$4xxxxx$5}’ access.log

上例,在第1第2列之间用 tab 分隔,第2第3列之间用" - "分隔,

也可以什么都不写代表中间没分隔,比如第3第4列之间,或者乱写一些字符没用" "括起来,也等于没写,比如第4第5列之间。

数字类型,字符串类型

虽然上例最后两列的值是字符串类型的,带着ms字样,看起来不能做算术运算。

但其实两个列相减时,AWK就会神奇地把它们转换为纯数字。同样,做累计的时候,sum=sum+$NF,也能自动转换为数字。

如果想对某个字符列比较是否大于阀值,先把它转回数字就行了,上一篇文章里的

sed "s|ms]||g" access.log | awk ' $NF>100 {print}'

其实可以简写成下面的样子,性能还比使用sed略快:

awk ' $NF*1>100 {print}’ access.log

awk ' int($NF)>100 {print}’ access.log

BEGIN与END语句

BEGIN与END后的语句定义在处理全部文本内容之前与之后的语句。

1.计算累计值和平均值

awk '{sum+=$NF} END {print sum, sum/NR}'

上例对每行输入内容进行最后一列的值的累计,而END后的语句,打印累计结果 和平均值,NR是系统变量代表总行数。

2.打印表头

还可以定义BEGIN语句打印表头,定义变量什么的。

awk 'BEGIN{print "Date\t\tTime\t\tCost”} {print $1 "\t"$2 "\t" $NF}’ access.log

上例表头用两个制表符分隔,内容则用一个制表符分隔,有良好的对齐效果。

过滤行

1. 简单字符匹配

先用grep过滤也是可以的,也可以用awk简单在执行语句之外的/ /之间定义正则表达式

awk '/192.168.0.4[1-5]/ {print $1}’ access.log

等价于

grep "192.168.0.4[1-5]” access.log| awk ‘{print $1}

2. 针对某一列的字符匹配

针对第4列的地址段匹配,~ 是字符匹配,!~则是不匹配的意思。

awk '$4 ~ /192.168.0.4[1-5]/ {print}'

3. 针对数值的过滤

支持==, !=, <, >, <=, >=

awk '$(NF-1)*1==100 {print}'

awk '$NF-$(NF-1)>100 {print}'

见前,对于非纯数字的字段,可以用算术运算让它转回数字。

4. 多条件同时存在

awk '($12 >150 || $(13)>250) {print}'

5. 使用if语句

如果逻辑更复杂,可以考虑使用if,else等语句

awk '{ if ($(NF-1)*1>100) print}'

其他

1.外部传入参数

比如从外面传入超时的阀值,注意threshold在命令行中的位置。

awk '{if($(NF)*1>threshold) print}' threshold=20 access.log

2.常用函数

最有用是gsub和sub,match,index等。其中gsub将一个字符串替换为目标字符串,可选定整行替换或只替换某一列。

awk '{gsub("ms]","",$NF); if( $NF>100 ) print}' access.log

一些例子

1.截取日期段内段数据

方式有很多,都是随着日志格式不同自由发挥。

比如下段截取17:30:30 秒到 17.31:00的数据,先抽取出时分秒三列,再拼成一个数字进行比较

awk -F "[ :.]" '$2$3$4>=173030 && $2$3$4<173100 {print}'

也可以匹配某个整点时间, 下例取11点的日志:

awk '/[2015-08-20 11:/ {print $1}’ access.log

取11点01分到05分的数据:

awk '/[2015-08-20 11:0[1-5]:/ {print $1}’ access.log

2. 找出超时的数据集中发生的时间

第一段找出超时记录,第二段过滤掉时间戳里的微秒,然后按秒来合并,并统计该秒超时的次数。

awk '$(NF)*1>100 {print}’ access.log | awk -F"." '{print $1}' | sort | uniq -c

原文地址:http://calvin1978.blogcn.com/articles/awk_accesslog.html

AWK处理日志入门(转)的更多相关文章

  1. 【转】Linux强大命令 Awk 20分钟入门介绍

    什么是Awk Awk是一种小巧的编程语言及命令行工具.(其名称得自于它的创始人Alfred Aho.Peter Weinberger 和 Brian Kernighan姓氏的首个字母).它非常适合服务 ...

  2. 使用awk进行日志信息的分组统计

    起因 这是今天我线上出了一个bug,需要查看日志并统计一个我需要的信息出现的频率,可以叫做分组统计. 日志文件部分内容 00:09:07.655 [showcase_backend][topsdk] ...

  3. Linux中的 awk查找日志中的相关记录

    假设要在 api.log.201707201830 文件中,(此文件的多个字段数据以不可见字符^A(键盘上按下Ctrl+V+A)分隔),要输出第70个字段: awk -F '^A' '{print $ ...

  4. awk的日志模块追加日期时间字段的方案

    function test() { i = ) { system("sleep 1") "date +'%Y-%m-%d %H:%M:%S'" | getlin ...

  5. awk:快速入门(简单实用19例+鸟哥书内容)

    awk 用法:awk ' pattern {action} '  变量名 含义  ARGC 命令行变元个数  ARGV 命令行变元数组  FILENAME 当前输入文件名  FNR 当前文件中的记录号 ...

  6. spring boot中的日志入门

    日志通常不会在需求阶段作为一个功能单独提出来,也不会在产品方案中看到它的细节.但是,这丝毫不影响它在任何一个系统中的重要地位. 报警系统与日志系统的关系 为了保证服务的高可用,发现问题一定要及时,定位 ...

  7. awk 命令使用入门

    Linux 下处理和分析文本文件内容,AWK 命令是一个强有力的工具.特别是文件内容是以行和列的形式排版的时候,AWK 就是命令行界的 Excel 啊! 简单的 awk 命令可以直接在命令行中使用,复 ...

  8. logback日志入门超级详细讲解

    基本信息 日志:就是能够准确无误地把系统在运行状态中所发生的情况描述出来(连接超时.用户操作.异常抛出等等): 日志框架:就是集成能够将日志信息统一规范后输出的工具包. Logback优势 Logba ...

  9. Java日志 #01# 入门

    很多人在学习完一个东西之后就会忘掉自己作为初学者时的体验.. 例如刚接触git的时候自己也是一头雾水,然后别人问起来,老是会说:xxxx#!@#,就是这么回事儿,有什么不好懂的. 其实从不懂到懂,再到 ...

随机推荐

  1. [转载]Windows 7笔记本创建wifi热点供手机上网教程

    用智能手机的朋友会发现这样一个问题,智能手机比普通手机上网更耗流量.这是因为智能手机应用(软件)丰富,而且大部分应用都会自动联网.为此,许多人每月包了上百M的流量套餐,但用的时候还是小心翼翼,生怕流量 ...

  2. JobTracker启动流程源码级分析

    org.apache.hadoop.mapred.JobTracker类是个独立的进程,有自己的main函数.JobTracker是在网络环境中提交及运行MR任务的核心位置. main方法主要代码有两 ...

  3. Pogo-Cow

    题目大意: 给出直线上N个点的坐标和分数,任意选一个点出发,每次只能跳到另外一个点上并获得相应的分数,且每次跳的方向要相同,本次跳的距离不小于上次跳的距离.  求最大得分.   N<=1000. ...

  4. NOIP 2000解题报告

    题目简单,思路很快就有,关键是代码实现能力,大概3个多小时完成.第一题:题目大意:将一个10进制数N转换成-B进制数 (负进制转换):B<=20, N(-32768<=N<=3276 ...

  5. PictureWebHandler

    using System; using System.Configuration; using System.Drawing; using System.Drawing.Imaging; using ...

  6. 6.1.1Linux下Socket编程

    什么是Socket Socket接口是TCP/IP网络的API,Socket接口定义了许多函数或例程,程序员可以用它们来开发TCP/IP网络上的应用程序.要学Internet上的TCP/IP网络编程, ...

  7. iOS中实现多线程的技术方案

    pthread 实现多线程操作 代码实现: void * run(void *param) {    for (NSInteger i = 0; i < 1000; i++) {         ...

  8. iOS开发中XML的DOM和SAX解析方法

    一.介绍 dom是w3c指定的一套规范标准,核心是按树形结构处理数据,dom解析器读入xml文件并在内存中建立一个结构一模一样的“树”,这树各节点和xml各标记对应,通过操纵此“树”来处理xml中的文 ...

  9. Android-LogCat日志工具(一)

    LogCat : Android中一个命令行工具,可以用于得到程序的log信息. 就像你知道一个人的日志.航程,你可以无时无刻知道一个人在干什么. 而LogCat , 就是程序的日志.通过日志,你可以 ...

  10. 华为V-ISA信誉安全体系:对付新型DDoS攻击的利器

        华为Anti-DDoS解决方案基于华为颇具传统优势的专业软硬件平台开发,在防护机制中,引入先进的检测机制,提供了业内首创的“V-ISA”信誉安全体系,是业界唯一单机可提供超百G DDoS防御能 ...