[转帖]Shell三剑客之awk

目录

• awk简述
• awk的工作过程
• awk的工作原理
• awk的基本格式及其内置变量
• getline
• 文本内容匹配过滤打印
• 对字段进行处理打印
• 条件判断打印
• awk的三元表达式与精准筛选用法
• awk的精准筛选：
• awk的分隔符用法
• 指定输出的分隔符
• awk结合数组运用
• 面试题

---

awk简述

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，默认以空格或tab键作为分隔符作为分隔，并按模式或者条件执行编辑命令。
AWK信息的读入也是逐行指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互 的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。

awk的工作过程

第一步：执行BEGIN{action;… }语句块中的语句。

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

第三步：当读至输入流末尾时，执行END{action;…}语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

awk的工作原理

sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理，且默认情况下字段的分隔符为空格或 tab 键。
awk 执行结果可以通过 print 的功能将字段数据打印显示

awk的基本格式及其内置变量

awk 选项 ‘模式或条件 {操作}’ 文件1 文件2…

-F “分隔符” 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符
-v(小v) var=value 变量赋值

注意一定是单引号：‘模式或条件 {操作}’
{ }外指定条件，{ }内指定操作。
用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。
内建变量，不能用双引号括起来，不然系统会把它当成字符串。

内置变量
$0:	当前处理的行的整行内容
$n:	当前处理行的第n个字段（第n列）
NR:	当前处理的行的行号（序数）
NF:	当前处理的行的字段个数。$NF代表最后一个字段
FS:	列分割符。指定每行文本的字段分隔符，输入内容的分隔符，
默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:，用FS必须用=""
OFS:输出内容的列分隔符
FILENAME:被处理的文件名
RS:	行分隔符。awk从文件中读取资料时，
将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是"\n"

0和1放置{ }前，能够起到限制打印内容的作用（默认为"1"），如果为0，就不打印内容

getline

getline的工作过程

1、当getline左右无重定向符号（“<”）或者管道符号（“|”）时，awk首先读取的是第一行，而getline获取的是光标跳转至下一行的内容（也就是第二行）。

2、当getline左右有管道符号或重定向符时，getline则作用定向输入文件，由于文件是刚打开，并没有被awk读入一行，而只是getline读入，所以getline返回的是文件的第一行，而不是跳转至一行输入。

原因：getline运行之后awk会改变NF,NR,$0，FNR等内部变量，所以此时读取$0的行号不再为1，而是2。

把ls的输出传递给getline函数，line是变量 把ls的内容输出给变量，然后打印出结果，如果无内容，不做任何操作

文本内容匹配过滤打印

BEGIN打印模式:
格式：awk ‘BEGIN{…};{…};END{…}’ 文件
处理过程：
1、在awk处理指定的文本之前，需要先执行BEGIN{…}模式里的命令操作
2、中间的{…} 是真正用于处理文件的命令操作
3、在awk处理完文件后才会执行END{…}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句。

对字段进行处理打印

-v的用法：变量赋值

fs的是：然后使用-v给FS赋值=:,输入的时候FS是：，-v给OFS赋值输出的时候变量为+，然后打印第一列和第三列

条件判断打印

awk的三元表达式与精准筛选用法

awk的三元表达式继承了java的用法，格式与Java相似

格式：awk ‘(条件表达式)?(A表达式或者值):(B表达式或者值)’

awk的精准筛选：

$n(> < ==):  用于对比数值
$n~"字符串": 代表第n个字段包含某个字符串
$n!~"字符串": 代表第n个字段不包含某个字符串
$n=="字符串": 代表第n个字段为某个字符串
$n!="字符串": 代表第n个字段不为某个字符串
$NF: 代表最后一个字段



1
2
3
4
5
6

awk的分隔符用法

RS 指定行分隔符:
awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录，
而awk一次仅读入一条记录进行处理。内置变量RS的预设值是"\n" 也就是换行。
也可以使用BEGIN模式在操作前进行行分隔符的改变

指定输出的分隔符

OFS：输出内容的列分隔符。

（$n=$n用于激活，否则不生效，n必须存在）



1

awk结合数组运用

awk中定义数组打印:

awk中的数组形成遍历

面试题

监控内存脚本（当内存使用率>90%就报警）

Mem_total=$(free -m | grep -w Mem | awk '{print $2}')
Mem_used=$(free -m | grep -w Mem | awk '{print $3}')

a=\((</span><span class="token builtin class-name">echo</span> <span class="token string">"scale=2;(<span class="token variable">\)Mem_used/$Mem_total)*100"|bc)

Mem=</span><span class="token builtin class-name">echo</span> $a<span class="token operator">|</span><span class="token function">awk</span> -F. <span class="token string">'{print $1}'</span><span class="token variable">

if [ \(Mem</span> -gt <span class="token number">90</span> <span class="token punctuation">]</span>
<span class="token keyword">then</span>
   <span class="token builtin class-name">echo</span> <span class="token string">"内存使用超过90%，请清理内存"</span>
<span class="token keyword">else</span>
   <span class="token builtin class-name">echo</span> <span class="token string">"系统安全，请放心使用，内存使用情况：<span class="token variable">\)Mem%"

fi

监控CPU使用情况脚本

top -b -n 1 | awk 'NR==3{print}'| awk '{print "目前CPU的使用情况："$2+$4}'



1

监控磁盘使用情况脚本（当磁盘使用率>90%就报警）

 a=$(df -T | awk 'NR==2{print}' | awk '{print $4}')

b=$(df -T | awk 'NR==2{print}' | awk '{print \(5}'</span><span class="token variable">)</span></span>
 <span class="token assign-left variable">c</span><span class="token operator">=</span><span class="token variable"><span class="token variable">\)(echo "scale=2;(\(a</span>/<span class="token variable">\)b)*100"|bc)

sum=</span><span class="token builtin class-name">echo</span> $c <span class="token operator">|</span><span class="token function">awk</span> -F. <span class="token string">'{print $1}'</span><span class="token variable">

if [ \(sum</span> -gt <span class="token number">90</span> <span class="token punctuation">]</span>
<span class="token keyword">then</span>
   <span class="token builtin class-name">echo</span> <span class="token string">"磁盘使用超过90%，请清理磁盘"</span>
<span class="token keyword">else</span>
   <span class="token builtin class-name">echo</span> <span class="token string">"系统安全，请放心使用，磁盘使用情况：<span class="token variable">\)sum%"

fi

文章知识点与官方知识档案匹配，可进一步学习相关知识

云原生入门技能树首页概览12816 人正在系统学习中