shell 统计 awk

time awk '{a[$1]++}END{for(i in a){printf("%d\t%s\n",a[i],i)}}' access.log | sort -nr | head -5

$ cat aa
00:01
00:01
00:01
00:02
00:03
00:05
00:05
00:05
00:05

$ cat aa |awk '{a[$1]+=1;}END{for(i in a){print a[i]" "i;}}'
3 00:01
1 00:02
1 00:03
4 00:05

1. 什么是awk
awk是Unix/Linux提供的样式扫描与处理工具，非常擅长处理结构化数据和生成表单。与sed 和grep 很相似，但功能却超过大于两者，由于awk具备各种脚本语言的特点，所以也可以把它看做一种脚本语言。本文介绍了awk的使用方法。
2. awk程序设计模型
awk程序由三部分组成，分别为：初始化（处理输入前做的准备,放在BEGIN块中），数据处理（处理输入数据），收尾处理（处理输入完成后要进行的处理，放到END块中）。其中，在“数据处理”过程中，指令被写成一系列模式/动作过程，模式是用于测试输入行的规则，以确定是否将应用于这些输入行。
3. awk调用方式
主要有三种调用方式，分别为：
(1) awk 命令行
你可以象使用普通UNIX 命令一样使用awk，在命令行中你也可以使用awk 程序设计语言，，这种方法一般只用于解决简单的问题。当然，你也可以在shell script 程序中引用awk 命令行甚至awk 程序脚本。
(2) 使用-f 选项调用awk 程序
awk 允许将一段awk 程序写入一个文本文件，然后在awk 命令行中用-f 选项调用并执行这段程序。
(3) 利用命令解释器调用awk 程序
利用UNIX 支持的命令解释器功能，我们可以将一段awk 程序写入文本文件，然后在它的第一行加上#!/bin/awk –f.
4. awk语法
与其它 UNIX 命令一样，awk 拥有自己的语法：
awk [ -F re] [parameter...] ['prog'] [-f progfile][in_file...]
(1) -F re：允许awk 更改其字段分隔符。
(2) parameter：该参数帮助为不同的变量赋值。
(3) ‘prog’：awk 的程序语句段。这个语句段必须用单拓号：’和’括起，以防被shell 解释。这个程序语句段的标准形式为：’pattern {action}’
其中pattern 参数可以是egrep 正则表达式中的任何一个，它可以使用语法/re/再加上一些样式匹配技巧构成。与sed 类似，你也可以使用”,”分开两样式以选择某个范围。action 参数总是被大括号包围，它由一系列awk 语句组成，各语句之间用”;”分隔。awk 解释它们，并在pattern 给定的样式匹配的记录上执行其操作。你可以省略pattern 和action 之一，但不能两者同时省略，当省略pattern 时没有样式匹配，表示对所有行（记录）均执行操作，省略action时执行缺省的操作——在标准输出上显示。
(4) -f progfile：允许awk 调用并执行progfile 指定有程序文件。progfile 是一个文本文件，它必须符合awk 的语法。
(5) in_file：awk的输入文件，awk 允许对多个输入文件进行处理。值得注意的是awk 不修改输入文件。如果未指定输入文件，awk 将接受标准输入，并将结果显示在标准输出上。
5. awk脚本编写
5.1 awk的内置变量
awk中有两类内置的变量，一类用户可根据需要改变，主要有：FS：输入数据的字段分割符，RS：输入数据的记录分隔符，OFS：输输出数据的字段分割符，ORS：输出数据的记录分隔符；另一类是系统自动改变的，如：NF：当前记录的字段个数，NR：当前记录编号等。
举例说明：
awk -F”:” ‘{ print $1 ” ” $3 }’ /etc/passwd #打印passwd中的第1，3个字段
5.2 pattern/action模式
awk程序部分采用了pattern/action模式，即，针对匹配pattern的数据，使用action逻辑进行处理。
举例说明：
/^$/ {print “This is a blank line!”} #判断当前是不是空格
$5 ~ /MA/ {print $1 “,” $3} #判断第5个字段是不是含有“MA”
NF == 3 { print “this particular record has three fields: ” $0 }
5.3 BEGIN和 END
在 awk中两个特别的表达式，BEGIN和 END，这两者都可用于 pattern中，提供 BEGIN 和 END 的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作。任何在 BEGIN 之后列出的操作（在{}内）将在 awk 开始扫描输入之前执行，而 END 之后列出的操作将在扫描完全部的输入之后执行。因此，通常使用BEGIN来初始化变量，使用END 来输出最终结果。
例：累计销售文件xs 中的销售金额（假设销售金额在记录的第三字段） ：
$awk
>’BEGIN { FS=”:”;print “统计销售金额”;total=0}
>{print $3;total=total+$3;}
>END {printf “销售金额总计：%.2f”,total}’  sx