语法

awk  [options] [BEGIN] {program} [END] [file]

常用命令选项
-F fs 指定描绘一行中数据字段的文件分隔符 默认为空格
-f file 指定读取程序的文件名
-v var=value 定义awk程序中使用的变量和默认值 注意:awk 程序脚本由左大括号和右大括号定义。脚本命令必须放置在两个大括号之间。由于awk命令行假定脚本是单文本字符串,所以必须将脚本包
括在单引号内。 awk程序运行优先级是:
1)BEGIN: 在开始处理数据流之前执行,可选项
2)program: 如何处理数据流,必选项
3)END: 处理完数据流后执行,可选项

awk 基本用法

1.字段提取:提取一个文本中的一列数据并打印输出

字段相关内置变量

$0   表示整行文本

$1   表示文本行中的第一个数据字段

$2   表示文本行中的第二个数据字段

$N   表示文本行中的第N个数据字段

$NF   表示文本行中的最后一个数据字段

# awk '{print $0}' t.txt
1 the quick brown fox jumps over the lazy dog.
2 the quick brown fox jumps over the lazy dog.
3 the quick brown fox jumps over the lazy dog.
4 the quick brown fox jumps over the lazy dog.

# awk '{print $1}' t.txt
1
2
3
4

# awk '{print $2}' t.txt
the
the
the
the

# awk '{print $3}' t.txt
quick
quick
quick
quick

# awk '{print $NF}' t.txt
dog.
dog.
dog.
dog.

2.如何打印某一行以及某一行中的某列呢?使用NR命令

# awk 'NR==3{print $0}' t.txt
3 the quick brown fox jumps over the lazy dog.

# awk 'NR==3{print $1}' t.txt
3
# awk 'NR==3{print $2}' t.txt
the

3.如果文件中的数据并不是以空格分隔的,比如passwd中的就是以:f分隔的,此时如果需要指定分隔符可以使用 -F

awk -F ":" 'NR==1{print $1,$3,$5}' /etc/passwd     #打印出passwd文件中的第一列第一行 第三行 第五行的内容
root 0 root

如果想改变上面的输出格式,可以直接修改print后面的部分

# awk -F ":" 'NR==1{print $1"-"$3"-"$5}' /etc/passwd  #在$1 $3 $5之间直接增加字符串
root-0-root

4.打印内存使用信息

# head -3 /proc/meminfo
MemTotal: 2035356 kB
MemFree: 1308408 kB
MemAvailable: 1472264 kB

# head -3 /proc/meminfo | awk 'NR==1{print $2}'

2035356

 awk 的优先级

BEGIN> print $0 >END

#awk 'BEGIN{print "youxianjizuigao"}{print $0}END{print "youxianjizuidi"}' t.txt
youxianjizuigao
1 the quick brown fox jumps over the lazy dog.
2 the quick brown fox jumps over the lazy dog.
3 the quick brown fox jumps over the lazy dog.
4 the quick brown fox jumps over the lazy dog.
5 the quick brown fox jumps over the lazy dog.
youxianjizuidi

BEGIN不需要数据源就可以执行,但是programe 以及 END就必须有数据源才可以执行

# awk 'BEGIN{print "buxvyaoshujuyuan"}'
buxvyaoshujuyuan

 

awk 高级用法

直接输出内存使用率,在awk工作时,直接给变量赋值,运算,从而直接结算出结果

# head -2 /proc/meminfo | awk 'NR==1{t=$2}NR==2{f=$2;print (t-f)*100/t "%"}'
31.101%

再来看下面 单引号和双引号要混用,否则可能会没有输出(因为引号会误认段落)

# awk 'BEGIN {name="shuangyinhao";print name}'
shuangyinhao
# awk 'BEGIN {name='danyinhao';print name}'

awk数组的用法

# awk 'BEGIN{array[0]="apple";array[1]=16;print array[0],array[1]}'
apple 16

比较运算

如果比较的是字符串则按照ascii编码顺序比较,如果结果为真返回1,假返回0

# awk 'BEGIN{print "a">="b"}'     #不知为何要>= ,>会没有回显
0

逻辑判断

# seq 1 10 > num
# cat num
1
2
3
4
5
6
7
8
9
10
# awk '$1>5{print $1}' num  #大于5的信息输出
6
7
8
9
10

数学运算

# awk 'BEGIN{print 1+1}'

2

逻辑运算

# awk 'BEGIN{print 100>=99 && 100>=88}'    #奇怪的是只能>= >就报错
1

# awk 'BEGIN{print (100>98 && 100>99)}'    #再加一组括号就不报错了
1

匹配运算

精确匹配

# awk -F: '$1=="root"{print $0}' /etc/passwd     #打印第一行为root的信息
root:x:0:0:root:/root:/bin/bash

# awk -F: '$1!="root"{print $0}' /etc/passwd     #打印第一行不为root的信息

模糊匹配

# awk -F: '$1 ~ "ro"{print $0}' /etc/passwd     #第一行包含ro的都会被匹配到
root:x:0:0:root:/root:/bin/bash
chrony:x:997:995::/var/lib/chrony:/sbin/nologin

# awk -F: '$1 !~ "ro"{print $0}' /etc/passwd     #第一行不包含ro的都会被匹配到

awk的环境变量

FIELDWIDTHS 指定列的宽度

# awk 'BEGIN{FIELDWIDTHS="5 2 8"}NR==1{print $1,$2,$3}' /etc/passwd
root: x: 0:0:root
# cat /etc/passwd | grep root
root:x:0:0:root:/root:/bin/bash

FS 定义输入字段分隔符  OFS定义输出字段分隔符

# awk 'BEGIN{FS=":";OFS="-"}$1 == "root"{print $1,$3,$5}' /etc/passwd
root-0-root

# awk 'BEGIN{RS=""}{print $1,$2,$3}' num   #将num文本中的输入记录分隔符定义为任意,然后输入第1至第3列
1 2 3

# awk 'BEGIN{RS="";OFS="\t"}{print $1,$2,$3}' num   #将输出的资源字段分隔符定义为\t得到以下效果
1       2       3

# awk 'BEGIN{RS="";ORS="**********"}{print $1,$2,$3}' num   #将输出记录分隔符号定义为***********
1 2 3**********[root@localhost shell_16]#

awk的流程控制

# awk '{if($1>5)print $1}' num     #if判断
6
7
8
9
10

# awk '{if ($1<5)print $1*2;else print$1/2}' num
2
4
6
8
2.5
3
3.5
4
4.5
5

# awk -v 'sum=0' '{sum+=$1}END{print sum }' num     #-v定义变量  sum只能定义到外面否则循环时,每次都会归0
55

下面的例子 将每一行的数值累加

# cat num2
60 50 100
150 30 10
70 100 40

# awk '{sum=0;for (i=1;i<4;i++){sum+=$i} print sum}' num2   #使用for循环

210
190
210

# awk '{sum=0;i=1;while(i<4){sum+=$i;i++}print sum}' num2   #使用while循环
210
190
210

# awk '{sum=0;i=1;while(i<4){sum+=$i;if(sum>150){break}i++}print sum}' num2  #当sum>150时跳出循环
210
180
170

小技巧

# cat t.txt
1 the quick brown fox jumps over the lazy dog.
2 the quick brown fox jumps over the lazy dog.
3 the quick brown fox jumps over the lazy dog.
4 the quick brown fox jumps over the lazy dog.
5 the quick brown fox jumps over the lazy dog.

# awk 'END{print NR}' t.txt     #打印文本行数
5

# awk 'END{print $0}' t.txt     #打印文本最后一行内容
5 the quick brown fox jumps over the lazy dog.

# awk 'END{print NF}' t.txt    #打印文本列数
10

记录 shell学习过程(11 ) shell 对输出流的处理的更多相关文章

  1. Linux 学习记录 四(Bash 和 Shell scirpt).

    一.什么是 Shell? 狭义的shell指的是指令列方面的软件,包括基本的Linux操作窗口Bash等,广义的shell则包括 图形接口的软件,因为图形接口其实也可以操作各种驱动程序来呼叫核心进行工 ...

  2. 自学linux——11.shell入门

    shell 基础 1.shell介绍(内置脚本) 程序开发的效率非常高,依赖于功能强大的命令可以迅速地完成开发任务(批处理) 语法简单,代码写起来比较轻松,简单易学 (1)什么是shell shell ...

  3. 鸟哥的私房菜:Bash shell(四)-Bash shell的使用环境

    Bash shell(四)-Bash shell的使用环境   是否记得我们登入主机的时候,屏幕上头会有一些说明文字,告知我们的 Linux 版本啊什么的, 还有,登入的时候,我们还可以给予使用者一些 ...

  4. shell 编程 && bash 简介(shell 变量、shell操作环境、数据流重导向、管线命令、shell script)

    如何学习一门编程语言 数据类型 运算符 关键字 1 认识BASH 这个shell linux是操作系统核心,用户通过shell与核心进行沟通,达到我们想要的目的.硬件.核心.用户之间的关系: 原理:所 ...

  5. 什么是shell? bash和shell有什么关系?

    什么是shell? bash和shell有什么关系? 博客分类: Linux   什么是Shell?      shell是你(用户)和Linux(或者更准确的说,是你和Linux内核)之间的接口程序 ...

  6. Shell学习之Shell特性(一)

    Shell学习之Shell特性 目录 命令和文件自动补齐功能 命令历史记忆功能 history.上下键.!number.!string.!$.!! 别名功能 alias.unalias cp.~use ...

  7. Shell test 命令,Shell 输入/输出重定向

    一.Shell test 命令 Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值.字符和文件三个方面的测试. 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -g ...

  8. 什么是shell? bash和shell有什么关系?

    什么是Shell?      shell是你(用户)和Linux(或者更准确的说,是你和Linux内核)之间的接口程序.你在提示符下输入的每个命令都由shell先解释然后传给Linux内核.      ...

  9. shell(shell函数、shell正则表达式)

    本章内容 shell函数 shell正则表达式 1.shell函数 linux shell 可以用户定义函数,然后在shell脚本中可以随便调用. 格式: funname () { CMD #函数体 ...

  10. shell基础之shell相关概念

    一.脚本介绍 1.脚本简单地说就是一条条的文字命令(一些指令的堆积),这些文字命令是可以看到的(如可以用记事本打开查看.编辑). 常见的脚本: JavaScript(JS,前端),VBScript, ...

随机推荐

  1. 使用vscode对threejs的本地调试

    始终坚信阅读和调试结合的方式,才是学习开源的高效方法 一.老版本调试 遥想当年的threejs(使用版本为r75)还没有CommonJS,对于我这个小白可以拿起大刀大杀四方......(咳.咳. 就是 ...

  2. PyCharm专业版激活+破解到期时间2100年

    PyCharm专业版激活+破解到期时间2100年 转载文章:https://blog.51cto.com/13696145/2464312?source=dra 到2020年5月激活码: N7UR85 ...

  3. mysql删除索引

    删除索引 删除索引可以使用ALTER TABLE或DROP INDEX语句来实现.DROP INDEX可以在ALTER TABLE内部作为一条语句处理,其格式如下: drop index index_ ...

  4. 消息队列MQ(一)

    消息队列 为什么要用消息队列,都有什么优缺点? 要问的是消息队列都有哪些场景,然后项目里具体实现的什么场景,你在这个场景里用的什么消息队列? 期望的回答是,你们公司有个什么业务,这个业务场景有什么技术 ...

  5. java-十进制与十六进制的转化

    问题: 在一些特定的情况下,程序中需要用到进制之间的转化,现在来说说十进制和十六进制的转化. 其实java进制转换非常的简单. 那问什么还要说这个问题呢? 因为在转化的时候遇到一个问题... 记录一下 ...

  6. day 17 初始递归

    递归函数 了解什么是递归 : 在函数中调用自身函数 最大递归深度默认是997/998 —— 是python从内存角度出发做的限制 能看懂递归 能知道递归的应用场景 初识递归 —— 算法 —— 二分查找 ...

  7. 选择排序 C++实现

    实现思想: 1.寻找[i, n)区间里的最小值min ( i>= 0 ) 2.交换min和第i的数 ( i>= 0 ) #include <iostream> #include ...

  8. 【python基础语法】常用内置函数、关键字、方法和之间的区别(小结)

    ''' 关键字: False:bool数据类型 True:bool数据类型 None:表示数据的内容为空 and:逻辑运算符:与 or:逻辑运算符:或 not:逻辑运算符:非 in:身份运算符,判断变 ...

  9. win10下载

    Win10 简体中文正式版 微软MSDN官方ISO镜像下载(2020年1月21日更新) 官方地址:https://www.microsoft.com/zh-cn/software-download/w ...

  10. 企业应用开发的大趋势,65%的应用开发将通过低代码完成 ZT

    全球知名的咨询公司Gartner于近日发表了最新版的<低代码开发平台魔力象限>,并在报告中指出,到2024年65%的应用开发工作都将通过低代码的方式完成.Gartner长期关注软件开发领域 ...