awk数组统计

处理以下文件内容,将域名取出并根据域名进行计数排序处理:(百度和sohu面试题)

 http://www.etiantian.org/index.html
 http://www.etiantian.org/1.html
 http://post.etiantian.org/index.html
 http://mp3.etiantian.org/index.html
 http://www.etiantian.org/3.html
 http://post.etiantian.org/2.html

要求结果：

mp3.etiantian.org 1
post.etiantian.org 2
www.etiantian.org 3

思路：

1. 取出域名

   1. 以斜线为菜刀取出第二列（域名）

1. 进行加工

   1. 创建一个数组

   2. 把第二列（域名）作为数组的下标

   3. 通过类似于i++的形式进行计算数量

2. 统计后把结果输出

1、查看需要处理的文件

 [root@martin ~]# cat test.txt
 http://www.etiantian.org/index.html
 http://www.etiantian.org/1.html
 http://post.etiantian.org/index.html
 http://mp3.etiantian.org/index.html
 http://www.etiantian.org/3.html
 http://post.etiantian.org/2.html

2、以斜线为分割符，取出第二列，+表示连续的。

 [root@martin ~]# awk -F "/+" '{print $2}' test.txt
 www.etiantian.org
 www.etiantian.org
 post.etiantian.org
 mp3.etiantian.org
 www.etiantian.org
 post.etiantian.org

3、创建数组和进行统计

 [root@martin ~]# awk -F "/+" '{hotel[$2]}' test.txt             #创建数组
 [root@martin ~]# awk -F "/+" '{hotel[$2];print $2}' test.txt    #创建数组，并通过print 输出元素名字
 www.etiantian.org
 www.etiantian.org
 post.etiantian.org
 mp3.etiantian.org
 www.etiantian.org
 post.etiantian.org

 [root@martin ~]# awk -F "/+" '{hotel[$2]++}' test.txt                    #对数组相同下标的数组进行计数统计
 [root@martin ~]# awk -F "/+" '{hotel[$2]++;print $2,hotel[$2]}' test.txt #通过print输出元素名字和统计数
 www.etiantian.org 1
 www.etiantian.org 2
 post.etiantian.org 1
 mp3.etiantian.org 1
 www.etiantian.org 3
 post.etiantian.org 2

$2表示的是每一行的第二列，是一个变量；hotel[$2]++这种形式类似于i++，只不过把变量i换成了数组hotel[$2]

4、统计完毕后再用for循环打印输出数组不同下表和对应统计数

 [root@martin ~]# awk -F "/+" '{hotel[$2]++}END{for(pole in hotel) print pole,hotel[pole]}' test.txt
 mp3.etiantian.org 1
 post.etiantian.org 2
 www.etiantian.org 3

 优化显示，格式化输出
 [root@martin ~]# awk -F "/+" '{hotel[$2]++}END{for(pole in hotel) print pole,hotel[pole]}' test.txt|sort -k2|column -t
 mp3.etiantian.org   1
 post.etiantian.org  2
 www.etiantian.org   3

5、统计linux系统的history历史记录使用前10的命令

 [root@martin ~]# history|awk '{order[$2]++}END{for(n in order) print n,order[n]}'|sort -rnk2|head|column -t
 awk                          54
 history|awk                  44
 [                            22
 ll                           19
 rpm                          12
 yum                          8
 w                            6
 uname                        6
 history                      6
 /etc/rc.d/init.d/keepalived  5

本文参考自 “李导的博客” 博客，原地址http://lidao.blog.51cto.com/3388056/1912219