【文本处理命令】之awk命令详解

一、awk命令简介

　　awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。在 linux 系统日常处理工作中，发挥很重要的作用，掌握了 awk将会使你的工作变的高大上。 awk 是三剑客的老大，利剑出鞘，必会不同凡响。

　　awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

二、使用方法

2.1  格式

awk '{pattern + action}' {filenames}
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)

　　其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

2.2 常用命令选项

• -F fs 　　fs 指定输入分隔符（可指定一个或多个），fs可以是字符串或正则表达式

• -v var=value 赋值一个用户定义变量，将外部变量传递给awk

• -f scriptfile 从脚本文件中读取awk命令

2.3 awk的内置变量

$n : 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
$ : 这个变量包含执行过程中当前行的文本内容。
ARGC : 命令行参数的数目。
ARGIND : 命令行中当前文件的位置（从0开始算）。
ARGV : 包含命令行参数的数组。
CONVFMT : 数字转换格式（默认值为%.6g）。
ENVIRON : 环境变量关联数组。
ERRNO : 最后一个系统错误的描述。
FIELDWIDTHS : 字段宽度列表（用空格键分隔）。
FILENAME : 当前输入文件的名。
NR : 表示记录数，在执行过程中对应于当前的行号
FNR : 同NR :，但相对于当前文件。
FS : 字段分隔符（默认是任何空格）。
IGNORECASE : 如果为真，则进行忽略大小写的匹配。如：IGNORECASE=1表示忽略大小写

NF : 表示字段数，在执行过程中对应于当前的字段数。 print $NF打印一行中最后一个字段 OFMT : 数字的输出格式（默认值是%.6g）。 OFS : 输出字段分隔符（默认值是一个空格）。 ORS : 输出记录分隔符（默认值是一个换行符）。 RS : 记录分隔符（默认是一个换行符）。 RSTART : 由match函数所匹配的字符串的第一个位置。 RLENGTH : 由match函数所匹配的字符串的长度。 SUBSEP : 数组下标分隔符（默认值是34）。

2.4 运算符

2.5 正则表达式

三、案例

我们以passwd文件来操作。操作之前先备份好，使用备份的passwd文件操作

[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1}' /tmp/passwd
root
bin
# 这里可以使用“,”将打印的多个条件分隔，打印的效果会自动有空格。如果使用的是$ $，里边是用空格，那打印出来的第一列和第3列会挨在一起
[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1,$3}' /tmp/passwd
root
bin 
[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1 $3}' /tmp/passwd
root0
bin1
或
[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1 " " $3}' /tmp/passwd
root
bin
# 使用制表符打印出信息
[root@VM_0_10_centos shellScript]# awk -F ":" '{print "user:"$1 "\tuid:"$3}' /tmp/passwd
user:root    uid:
user:bin    uid:

1）只查看passwd文件（100内）第20到第30行内容。（面试）

[root@VM_0_10_centos shellScript]# awk '{if(NR>=20 && NR<=30) print $1}' /tmp/passwd
abrt:x::::/etc/abrt:/sbin/nologin
sshd:x:::Privilege-separated
postfix:x::::/var/spool/postfix:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
syslog:x::::/home/syslog:/bin/false
mysql:x:::MySQL
nagcmd:x::::/home/nagcmd:/sbin/nologin
nagios:x::::/home/nagios:/sbin/nologin
apache:x::::/home/apache:/bin/bash
nginx:x:::Nginx
# 不加$1打印20-30行所有内容
[root@VM_0_10_centos shellScript]# awk '{if(NR>=20 && NR<=30) print}' /tmp/passwd 
abrt:x::::/etc/abrt:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
syslog:x::::/home/syslog:/bin/false
mysql:x:::MySQL Server:/var/lib/mysql:/bin/false
nagcmd:x::::/home/nagcmd:/sbin/nologin
nagios:x::::/home/nagios:/sbin/nologin
apache:x::::/home/apache:/bin/bash
nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin
[root@VM_0_10_centos shellScript]# nl /tmp/passwd | awk '{if(NR>=20 && NR<=30) print}' 
        abrt:x::::/etc/abrt:/sbin/nologin
        sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
        postfix:x::::/var/spool/postfix:/sbin/nologin
        chrony:x::::/var/lib/chrony:/sbin/nologin
        tcpdump:x::::/:/sbin/nologin
        syslog:x::::/home/syslog:/bin/false
        mysql:x:::MySQL Server:/var/lib/mysql:/bin/false
        nagcmd:x::::/home/nagcmd:/sbin/nologin
        nagios:x::::/home/nagios:/sbin/nologin
        apache:x::::/home/apache:/bin/bash
        nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin

2）已知text.txt文件内容，打印出Poe和33794712，并以 Poe 33794712格式显示

[root@VM_0_10_centos shellScript]# cat test.txt
I am Poe,my qq is 

# 使用多个分隔符，先使用空格分割，然后对分割结果再使用","分割
[root@VM_0_10_centos shellScript]# awk -F "[ ,]" '{print $3,$7}' test.txt
Poe
或
[root@VM_0_10_centos shellScript]# awk -F '[ ,]+' '{print $3,$7}' test.txt
Poe 

3）awk -F  指定分割字符

# -F 相当于内置变量FS
[root@VM_0_10_centos shellScript]#  awk 'BEGIN{FS=","} {print $1,$2}' test.txt
 this is a test
 Are you like awk
This's a test
 There are orange apple

4）通过-v 设置变量

[root@VM_0_10_centos shellScript]# cat test.txt
I am Poe,my qq is 

[root@VM_0_10_centos shellScript]# awk -vx= '{print $1,$1+x}' test.txt
I 

[root@VM_0_10_centos shellScript]# awk -vx= '{print $1,$(1+x)}' test.txt
I 

[root@VM_0_10_centos shellScript]# awk -vx= -vy=i '{print $1,$1+x,$1y}' test.txt
I  Ii
  2i
  7i

5）格式化输出

# 8s代表8个space  \n回车换行  %- 后面的-表示前面不空格，不加的话前面也会有8个空格
# 因为这里是打印的$1和$4,所以前面格式输出的有两个值：%-8s和%-10s
[root@VM_0_10_centos shellScript]# awk '{printf "%-8s %-10s\n",$1,$4}' test.txt
I        qq        

6）过滤第一列大于2、等于2、第一列大于2且第2列等于'Are'

[root@VM_0_10_centos shellScript]# awk '$1>2 {print $1,$3}' test.txt
 you
This's test
 are
# 需注意，这里不能使用单=号，会被认为是赋值。判断是否等于要使用双等号==
[root@VM_0_10_centos shellScript]# awk '$1==2 {print $1,$3}' test.txt
 is
[root@VM_0_10_centos shellScript]# awk '$1=2 {print $1,$3}' test.txt
 is
 you
 test
 are
[root@VM_0_10_centos shellScript]# awk '$1>2 && $2=="Are" {print $1,$3}' test.txt
 you

7）内置参数用法

NF：字段数　　NR：行号　　FNR：文本行号（文件计数的行号）

FS：记录是以什么为分隔符　　RS：默认分隔符（\n）　　FILENAME：当前文件名　　

OFS：输出记录分隔符（输出换行符），输出时用指定的符号代替换行符

ORS：输出记录分隔符(默认值是一个换行符)

[root@VM_0_10_centos shellScript]# cat test.txt
 this is a test
 Are you like awk
This's a test
 There are orange,apple,mongo
[root@VM_0_10_centos shellScript]#  awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS",
"NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  test.txt 
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
test.txt
test.txt
test.txt
test.txt
[root@VM_0_10_centos shellScript]# awk -F "," 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR"
,"FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test.txt 
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
test.txt            ,
test.txt            ,
test.txt            ,
test.txt            ,                 

8）输出行号（行条数NR）及文件行号（FNR）

# $0　在这里是打印文件所有内容
[root@VM_0_10_centos shellScript]# awk '{print NR,FNR,$0}' test.txt
   this is a test
   Are you like awk
  This's a test
   There are orange,apple,mongo

9）输出指定的分隔符

# 注意这里的$前后都加了空格，也可以不加空格，但是格式会比较紧凑
[root@VM_0_10_centos shellScript]# awk '{print $1,$2,$5}' OFS=" $ " test.txt
 $ this $ test
 $ Are $ awk
This's $ a $
 $ There $ 

10）使用正则，字符串匹配。匹配第2列包含“th”字符，并打印出第二列和第四列

~ 表示模式开始。// 中是模式。！~表示模式取反，不匹配搜索的行

[root@VM_0_10_centos shellScript]# awk '$2 ~ /th/ {print $2,$4}' test.txt
this a

四、awk脚本模式

　　对于每个输入行， awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况， awk 允许您定义一个 BEGIN 块。

　　因为 awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。
　　awk 还提供了另一个特殊块，叫作 END 块。 awk 在处理了输入文件中的所有行之后执行这个块。通常， END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

格式：

• BEGIN{ 执行前的语句 }
• END {处理完所有的行后要执行的语句 }
• {处理每一行时要执行的语句}

案例：

1）通过脚本查看输出的效果

[root@VM_0_10_centos shellScript]# cat score.txt
Marry
Jack
Tom
Mike
Bob
[root@VM_0_10_centos shellScript]# cat awk_score.awk
#/bin/awk -f
# 注意上面使用的bash
# 运行前，输出名称
BEGIN {
    Chinese =
    Math =
    English = 

    printf "NAME      NO.      Chinese      Math      English       TOTAL\n"
    printf "-------------------------------------------------------------\n"
}
# 运行中
{
    Chinese += $
    Math += $
    English += $
    printf "%-8s %-8s %6d %10d %10d %12d\n",$,$,$,$,$, $+$+$
}
# 运行后
END {
    printf "-------------------------------------------------------------\n"
    printf "  TOTAL:%16d %10d %10d \n",Chinese,Math,English
    printf "AVERAGE:%16.2f %10.2f %10.2f\n",Chinese/NR,Math/NR,English/NR
}
[root@VM_0_10_centos shellScript]# awk  -f awk_score.awk score.txt
NAME      NO.      Chinese      Math      English       TOTAL
-------------------------------------------------------------
Marry
Jack
Tom
Mike
Bob
-------------------------------------------------------------
  TOTAL:
AVERAGE:           63.80      78.60      70.00

2）计算文件大小

[root@VM_0_10_centos shellScript]# ls -l *.sh
-rwxr-xr-x  root root   Oct   : addUser.sh
-rwxr-xr-x  root root  Oct  : autoCreateUser.sh
-rwxr-xr-x  root root   Oct   : checkMem.sh
-rwxr-xr-x  root root   Oct   : checkRoot.sh
-rwxr-xr-x  root root   Oct  : createUsers.sh
-rwxr-xr-x  root root   Oct  : delUsers.sh
-rwxr-xr-x  root root   Oct  : modifyExtension.sh
-rwxr-xr-x  root root   Oct  : mulTable.sh
-rwxr-xr-x  root root   Oct  : numSort.sh
-rwxr-xr-x  root root   Oct  : progressBar2.sh
-rwxr-xr-x  root root   Oct  : progressBar.sh
-rwxr-xr-x  root root   Oct  : randowName.sh
-rwxr-xr-x  root root   Oct  : sum.sh
-rwxr-xr-x  root root    Oct   : test.sh
[root@VM_0_10_centos shellScript]# ls -l *.sh | awk '{sum+=$5} END {print sum}'

3）打印九九乘法表

[root@VM_0_10_centos shellScript]# seq  | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i
==NR?"\n":"\t")}'
1x1=
1x2=    2x2=
1x3=    2x3=    3x3=
1x4=    2x4=    3x4=    4x4=
1x5=    2x5=    3x5=    4x5=    5x5=
1x6=    2x6=    3x6=    4x6=    5x6=    6x6=
1x7=    2x7=    3x7=    4x7=    5x7=    6x7=    7x7=
1x8=    2x8=    3x8=    4x8=    5x8=    6x8=    7x8=    8x8=
1x9=    2x9=    3x9=    4x9=    5x9=    6x9=    7x9=    8x9=    9x9=

4）统计passwd账户人数

[root@VM_0_10_centos shellScript]# awk '{count++;} END{print "USER Total:" count}' /tmp/passwd
USER Total:
[root@VM_0_10_centos shellScript]# awk 'BEGIN {COUNT=0;print "[start]:" COUNT} {COUNT++;} END{print "USER Total:" COUNT }'
/tmp/passwd [start]:
USER Total:
[root@VM_0_10_centos shellScript]# awk 'BEGIN {COUNT=0;print "[start]:" COUNT} {COUNT+=1;} END{print "USER Total:" COUNT }'
 /tmp/passwd [start]:
USER Total:

5）查询某个文件字节大小

[root@VM_0_10_centos shellScript]# ll users.txt | awk 'BEGIN {SIZE=0} {SIZE=$5+SIZE} END {print "[end] SIZE:" SIZE}'
[end] SIZE:
或
[root@VM_0_10_centos shellScript]# ll numSort.sh | awk 'BEGIN {SIZE=0} {SIZE=$5+SIZE} END {print "[end] SIZE:" SIZE/1024/10
 ,"M"}'[end] SIZE:0.000804901 M

补充单位换算：

6）经典：查看服务器的连接状态

[root@VM_0_10_centos shellScript]# netstat -an|awk '/^tcp/ {++s[$NF]} END{for(a in s)print a,s[a]}'
LISTEN
ESTABLISHED
TIME_WAIT 

7）查看日志访问情况

awk '{a[$7]+=$10;++b[$7];total+=$10}END{for(x in a)print b[x],x,a[x]|"sort -rn -k1";print
"total size is :"total}' /app/log/access_log