10章:awk进阶操作

     在第4章:查找与替换简单的讲解了awk的使用,本章介绍详细讲解awk的使用。awk是一个强大的文本分析工具,简单的说awk就是把文件逐行的读入,

  以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。在shell脚本中文本处理功能awk功能其强大。

7.1awk命令形式

awk命令在shell脚本基本形式通常由四部分组成: [-F|-f|-v] (参数选项)、BEGIN语句块(初始化代码块)、pattern{commadns}(能够使用模式匹配的通用语句块)、END语句块(结束代码块),这四部分是可选择的,任意一部分都可以不出现在脚本中,后面三部分通常是被单引号或双引号括起来,awk命令形式如下所示:

awk [-F|-f|-v]  ‘BEGIN{ commands }  /pattern/{ commands }  END{ commands}’  filename

 

四部分分别代表意义:

[-F|-f|-v]    参数选项:-F指定分隔符,-f调用脚本,-v定义变量 如var=value。

BEGIN{ commands }  初始化代码块:在对第一行进行处理之前,初始化代码,主要是引用全局变量,设置FS分隔符。

/pattern/{ commands }  匹配代码块和命令代码块:/pattern/匹配代码块,pattern可以是字符串或正则表达式;{ commands } 命令代码块,commadns可包含一条或多条命令。

END{ commands }   结尾代码块:在对每一行进行处理之后再执行的代码块,主要是进行最终的计算或输出结尾摘要信息。

awk工作原理:

第一步:执行BEGIN{ commands }语句块中的语句,可以选择[-F|-f|-v]参数选项一起执行。

第二步:从文件或标准输入(stdin)读取一行,然后执行/pattern/{ commands }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。

第三步:当读至输入流末尾时,执行END{ commands }语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中,可以选择[-F|-f|-v]参数选项一起使用,这两部分是可选的。

pattern语句块中的通用命令是最重要的部分,它也是可选的。如果没有提供/pattern/语句块,则默认执行{ commands },即打印每一个读取到的行,awk读取的每一行都会执行该语句块。

END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是可选的。

范例:以#号为分格符,分别输出两行,$1代表第一个字段,$2代表第二个字段。

[root@cloucentos6 ~]# echo -e "A line 1#A line 2" | awk -F "#" 'BEGIN{ print "Start" } {print $1 "\n" $2} END{ print "End" }'

Start

A line 1

A line 2

End

7.2awk内置变量

awk有许多内置变量用来设置环境信息,这些变量可以被改变,下面给出了最常用的一些变量。如下图所示:

举例:

Linux系统创建了一个测试文本list,后续部分范例操作会以文本list为测试文件,测试文本list内容如下:

[root@cloucentos6 home]# cat list

John Daggett, 341 King Road, Plymouth MA

Alice Ford, 22 EAST Broadway, Richmond VA

Orville Thomas, 11345 Oak Bridge Road, Tulsa OK

Terry Kalkas, 402 Lans Road, Beaver Falls PA

Eric Adams, 20 Post Road, Sudbury MA

Hubert Sims, 328A Brook Road, Roanoke VA

Amy Wilde, 334 Bayshore Pkwy, Mountain View CA

Sal Carpenter, 73 6th Street, Boston MA

范例1:$1显示第一列,awk如果没有指定分界符,默认以空格或制表符为分界符。

[root@cloucentos6 home]# awk  '{print $1}'  list

John

Alice

Orville

Terry

Eric

Hubert

Amy

Sal

知识点补充:$2代表第二列,以此类推,如果是$10以上,不能直接使用$10需要加上括号如:$(10)

范例2:$0输出当前文本内容。

[root@cloucentos6 home]# awk  '{print $0}'  list

John Daggett, 341 King Road, Plymouth MA

Alice Ford, 22 EAST Broadway, Richmond VA

Orville Thomas, 11345 Oak Bridge Road, Tulsa OK

Terry Kalkas, 402 Lans Road, Beaver Falls PA

Eric Adams, 20 Post Road, Sudbury MA

Hubert Sims, 328A Brook Road, Roanoke VA

Amy Wilde, 334 Bayshore Pkwy, Mountain View CA

Sal Carpenter, 73 6th Street, Boston MA

范例3使用NR统计文本中的行数,打印指定的行和列。

[root@cloucentos6 home]# awk  '{print NR}'  list

1

2

3

4

5

6

7

8

[root@cloucentos6 home]# awk  'END{print NR}'  list

8

[root@cloucentos6 home]# nl list | awk 'NR==3{print}'

3     Orville Thomas, 11345 Oak Bridge Road, Tulsa OK

[root@cloucentos6 home]# nl list | awk 'NR==3{print $2}'

Orville

范例4:”/ /”模式,主要用于匹配正则表达式

[root@cloucentos6 home]# awk '/MA/' list

John Daggett, 341 King Road, Plymouth MA

Eric Adams, 20 Post Road, Sudbury MA

Sal Carpenter, 73 6th Street, Boston MA

[root@cloucentos6 home]# awk '/MA/ {print $1}' list

John

Eric

Sal

范例5选项 –F 指定字段的分隔符

[root@cloucentos6 home]# awk -F ',' '{print $1 $2}' list

John Daggett 341 King Road

Alice Ford 22 EAST Broadway

Orville Thomas 11345 Oak Bridge Road

Terry Kalkas 402 Lans Road

Eric Adams 20 Post Road

Hubert Sims 328A Brook Road

Amy Wilde 334 Bayshore Pkwy

Sal Carpenter 73 6th Street

[root@cloucentos6 home]# awk -F ',' '{print $1;print $2}' list

John Daggett

341 King Road

Alice Ford

22 EAST Broadway

Orville Thomas

11345 Oak Bridge Road

Terry Kalkas

402 Lans Road

Eric Adams

20 Post Road

Hubert Sims

328A Brook Road

Amy Wilde

334 Bayshore Pkwy

Sal Carpenter

73 6th Street

知识点补充:多重命令使用分号隔开。

范例6选项 –f 直接调用脚本或文本里的内容

[root@cloucentos6 home]# cat filename

/MA/{print "第" NR "行:"  "内容:" $0}

[root@cloucentos6 home]# awk -f filename list

第1行:内容:John Daggett, 341 King Road, Plymouth MA

第5行:内容:Eric Adams, 20 Post Road, Sudbury MA

第8行:内容:Sal Carpenter, 73 6th Street, Boston MA

范例7内置变量NF,NF显示文本每一行的字段数量,$NF显示文本最后一列。

[root@cloucentos6 home]# awk '{print $NF}' list

MA

VA

OK

PA

MA

VA

CA

MA

[root@cloucentos6 home]# awk '{print NF}' list

7

7

8

8

7

7

8

7

范例8借助-v选项,可以将变量的值传递给awk,有两种传递方法。

方法一:

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

var=1000

echo | awk -v vartable=$var '{print vartable}'

[root@cloucentos6 home]# ./test.sh

1000

方法二:

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

var1=1000

var2=2000

echo | awk '{print v1,v2}' v1=$var1 v2=$var2

[root@cloucentos6 home]# ./test.sh

1000 2000

范例9向脚本传递参数

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

#在awk命令中$1代表输入行的第一列字段,而在shell脚本中$1代表命令行提供的第一个参数

#把shell脚本$1第一个参数赋值给var,再将var赋值给awk$1第一列字段

awk '$1=var' var=$1 list

[root@cloucentos6 home]# ./test.sh  ABC

ABC Daggett, 341 King Road, Plymouth MA

ABC Ford, 22 EAST Broadway, Richmond VA

ABC Thomas, 11345 Oak Bridge Road, Tulsa OK

ABC Kalkas, 402 Lans Road, Beaver Falls PA

ABC Adams, 20 Post Road, Sudbury MA

ABC Sims, 328A Brook Road, Roanoke VA

ABC Wilde, 334 Bayshore Pkwy, Mountain View CA

ABC Carpenter, 73 6th Street, Boston MA

范例10:awk命令嵌套if判断语句和for循环语句。

###判断当前文件和目录大于500字节的文件打印出文件和大小

[root@cloucentos6 home]# ls -l | awk '{if (($5>=500)) print "\n" "文件: " $9 "\n" "大小: " $5 "B" "\n"}'

文件: lost+found

大小: 16384B

###判断当前目录文本大于300字节的文件打印出文件和大小

[root@cloucentos6 home]# ls -l | awk '{if (( $5>=300 && /^-/ )) print "\n" "文本: " $9 "\n" "大小: " $5 "B" "\n"}'

文本: list

大小: 341B

文本: list.bak

大小: 341B

#把abcde字符串按顺序逐个输出

[root@cloucentos6 home]# echo "abcde" | awk -F '' '{for(i=1;i<=NF;i++) print $i}'

a

b

c

d

e

[root@cloucentos6 home]# echo "abcde" | awk -F '' '{for(i=NF;i>=1;i--) print $i}'

e

d

c

b

a

范例11:awk命令提供两个函数用于完成字符串大小写转换,函数为小写tolower()和大写toupper()。

[root@cloucentos6 home]# awk '{print tolower($0)}' list

john daggett, 341 king road, plymouth ma

alice ford, 22 east broadway, richmond va

orville thomas, 11345 oak bridge road, tulsa ok

terry kalkas, 402 lans road, beaver falls pa

eric adams, 20 post road, sudbury ma

hubert sims, 328a brook road, roanoke va

amy wilde, 334 bayshore pkwy, mountain view ca

sal carpenter, 73 6th street, boston ma

[root@cloucentos6 home]# awk '{print toupper($0)}' list

JOHN DAGGETT, 341 KING ROAD, PLYMOUTH MA

ALICE FORD, 22 EAST BROADWAY, RICHMOND VA

ORVILLE THOMAS, 11345 OAK BRIDGE ROAD, TULSA OK

TERRY KALKAS, 402 LANS ROAD, BEAVER FALLS PA

ERIC ADAMS, 20 POST ROAD, SUDBURY MA

HUBERT SIMS, 328A BROOK ROAD, ROANOKE VA

AMY WILDE, 334 BAYSHORE PKWY, MOUNTAIN VIEW CA

SAL CARPENTER, 73 6TH STREET, BOSTON MA

范例12:awk命令提供一个统计字符串长度的函数length()。

[root@cloucentos6 home]# echo "abcde" | awk '{print length($0)}'

5

[root@cloucentos6 home]# echo "abcde" | awk -F '' '{print NF}'

5

[root@cloucentos6 home]# echo "abcde" | wc -L

5

[root@cloucentos6 home]# cat test.sh

#!/bin/bash

var="abcde"

echo ${#var}

[root@cloucentos6 home]# ./test.sh

5

第10章:awk进阶操作的更多相关文章

  1. 第10章:MongoDB-CRUD操作--文档--修改--修改器

    ① $set:进行内容的重新设置 语法:{"$set" : {"成员" : "新内容"}}: 范例:将年龄是20岁的人的成绩修改为89 db ...

  2. 第11章:sed进阶操作

    第11章:sed进阶操作 sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换.删除.新增.选取等特定工作,下面先了解一下sed的用法 sed命令行格式为 ...

  3. Linux就这个范儿 第10章 生死与共的兄弟

    Linux就这个范儿 第10章 生死与共的兄弟 就说Linux系统的开机.必须经过加载BIOS.读取MBR.Boot Loader.加载内核.启动init进程并确定运行等级.执行初始化脚本.启动内核模 ...

  4. 第10章 系统级I/O

    第10章 系统级I/O 10.1 Unix I/O 一个Unix文件就是一个m个字节的序列:B0,B1,…,BK,…,Bm-1 Unix I/O:一种将设备优雅地映射为文件的方式,允许Unix内核引出 ...

  5. 高性能Linux服务器 第10章 基于Linux服务器的性能分析与优化

    高性能Linux服务器 第10章    基于Linux服务器的性能分析与优化 作为一名Linux系统管理员,最主要的工作是优化系统配置,使应用在系统上以最优的状态运行.但硬件问题.软件问题.网络环境等 ...

  6. [原创]Scala学习:数组的基本操作,数组进阶操作,多维数组

    1.Scala中提供了一种数据结构-数组,其中存储相同类型的元素的固定大小的连续集合.数组用于存储数据的集合,但它往往是更加有用认为数组作为相同类型的变量的集合 2 声明数组变量: 要使用的程序的数组 ...

  7. JavaScript高级程序设计(第三版)学习笔记8、9、10章

    第8章,BOM BOM的核心对象是window,具有双重角色,既是js访问浏览器的一个接口,又是ECMAScript规定的Global对象.因此,在全局作用域中声明的函数.变量都会变成window对象 ...

  8. Django中的ORM进阶操作

    Django中的ORM进阶操作 Django中是通过ORM来操作数据库的,通过ORM可以很easy的实现与数据库的交互.但是仍然有几种操作是非常绕也特别容易混淆的.于是,针对这一块,来一个分类总结吧. ...

  9. 《Android开发艺术探索》读书笔记 (10) 第10章 Android的消息机制

    第10章 Android的消息机制 10.1 Android消息机制概述 (1)Android的消息机制主要是指Handler的运行机制,其底层需要MessageQueue和Looper的支撑.Mes ...

随机推荐

  1. js随机生成一个数组中的随机字符串以及更新验证码

    随机生成m,n范围的值得公式: Math.random()*(n-m)+m: 改正公式:Math.random()*(n+1-m)+m // 生成随机字符串function randomMixed(n ...

  2. s3c2440——按键中断

    s3c2440的异常向量表: IRQ中断地址是0x18.所以,根据之前的异常处理方式,我们编写启动文件: 为什么需要lr减4,可以参考这篇文章:http://blog.csdn.net/zzsfqiu ...

  3. Node.js学习笔记(2)--提交表单

    说明(2017-5-2 11:42:33): 1. index.html <!DOCTYPE html> <html lang="en"> <head ...

  4. Python进阶(三十五)-Fiddler命令行和HTTP断点调试

    Python进阶(三十五)-Fiddler命令行和HTTP断点调试 一. Fiddler内置命令   上一节(使用Fiddler进行抓包分析)中,介绍到,在web session(与我们通常所说的se ...

  5. PHPUnit 在phpstrom中composer项目的应用配置

    在phpstorm的composer搭建的项目调试时出现这种错误时:是其配置的错误 'Cannot create phar '/data/AppStorm/DesignPatternsPHP/vend ...

  6. 依赖注入(Dependency Injection)

    Spring的两个核心内容为控制反转(Ioc)和面向切面(AOP),依赖注入(DI)是控制反转(Ioc)的一种方式. 依赖注入这个词让人望而生畏,现在已经演变成一项复杂的编程技巧 或设计模式理念.但事 ...

  7. ubuntu linux下建立stm32开发环境: GCC安装以及工程Makefile建立

    http://blog.csdn.net/embbnux/article/details/17616809

  8. js 窗口抖动

    <title>窗口抖动</title> <style> body{margin:50px; } #qq{position:relative;} span{paddi ...

  9. 通过github搭建个人博客

    今天突发奇想,想用GitHub搭建一个个人博客,就大概学习了一下,特此记录. 其实非常简单,首先要知道,这里是通过GitHub Pages进行搭建的,什么?不知道什么是GitHub Pages?Git ...

  10. jQuery imgAreaSelect Examples

    案例:前端图片截取功能 分布说明A:选择File本地选择的图片 B:根据需求按比例缩放图片 C:区域选择型操作 A: 选择图片 <input class="upfile" t ...