7.脚本三剑客之awk

脚本三剑客之awk

目录

• 脚本三剑客之awk
  • awk介绍
  • awk工作原理
  • awk命令格式
    • awk基础用法
    • awk命令高级用法
  • date命令使用

awk介绍

• AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
• 之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

awk工作原理

• 逐行读取文本，默认以空格或TAB键为分隔符进行分割，将分割所得的各个字段保存到内建变量中，并按照或条件进行编辑命令。
• sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个"字段"然后再进行处理。awk信息的读入也是逐行读取的，执行结果通过print的功能将字段数据打印显示。
• 在使用awk命令过程中，可以使用逻辑操作符“&&”表示“与”、“||”示“或”、“！”表示“非”还可以进行简单的数学运算。如+、-、*、/、%、^分别表示加、减、乘、除、取余、和乘方。

awk命令格式

awk 选项 '模式模式条件 {操作}' 文件1 文件2 ...
awk -f 脚本文件 文件1 文件2 ...

awk常见的内建变量（可直接使用）与选项

变量	作用
FS	列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与-F作用一致。
NF	当前处理行的字段个数。
NR	当前处理行的行号。
$0	当前处理行的整行内容。
$n	当前处理行的第n个字段
FILENAME	被处理的文件名
RS	行分割符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’

awk 常用选项：

-F	指定输入文件折分隔符。
-v	赋值一个用户定义变量。
-f	从脚本文件中读取awk命令。

awk基础用法

示例：指定文本分隔符区段

示例：打印未知行段数的最后一段内容

示例：通过top命令一次输出，过滤cpu的空闲率

示例：使用awk命令修改输出分隔符

示例：显示行字段数

示例：当前处理行的行号

示例：使用逻辑操作符进行匹配执行文件内容

示例：使用awk命令进行简单的数学运算

示例：计算内存使用率

示例：使用awk命令显示奇数行或偶数行

示例：统计以xxxx结尾的行

注：BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk在处理指定的文本，之后在执行END模式中的动作，END{}语句模块中，往往会放入打印结果等语句。

示例：打印/etc/passwd文件内uid大于500的行

示例：使用if语句打印/etc/passwd文件内uid大于500的行

示例：使用c语言条件表达式打印/etc/passwd文件内gid大于uid大于500的行

(条件表达式)?(A表达式或者值):(B表达式或者值)

与三元运算符表达式相同 [ 条件表达式 ] && A || B

条件表达式成立为真时会取 ：号 前面的 A的值

条件表达式不成立为假时会取 ：号 后面的 B的值

示例：指定行分隔符

示例：awk命令分析 /var/log/secure 查看哪些主机在暴力破解本服务，如果统计出密码验证失败三次及三次以上就把IP加入到黑名单中 /etc/hosts.deny

awk命令高级用法

示例：通过管道符，双引号调用shell命令

示例：使用awk命令修改输出分隔符

OFS：改变输出时分隔符

注：$1=$1为修改分隔符后重新赋值，如果不赋值则$0输出的为修改前的值

示例：awk命令分析 /var/log/secure 查看哪些主机在暴力破解本服务，如果统计出密码验证失败三次及三次以上就把IP加入到黑名单中 /etc/hosts.deny

• AWK 可以使用关联数组这种数据结构，索引可以是数字或字符串

date命令使用

• -d 你描述的日期，显示指定字符串所描述的时间，而非当前时间
• %F 完整日期格式，等价于 %Y-%m-%d

基本显示格式

示例：显示当月的第一天

示例：显示下个月的第一天

示例：显示当月的最后一天

示例：显示上个月的最后一天

示例：使用awk命令显示系统上次开机时间