awk

awk是linux下的一个命令,他对其他命令的输出,对文件的处理都十分强大,其实他更像一门编程语言,他可以自定义变量,有条件语句,有循环,有数组,有正则,有函数等。他读取输出,或者文件的方式是一行,一行的读,根据你给出的条件进行查找,并在找出来的行中进行操作,感觉他的设计思想,真的很简单,但是结合实际情况,具体操作起来就没有那么简单了。他有三种形势,awk,gawk,nawk,平时所说的awk其实就是gawk。。

1,变量

 变量                               描述
$n 当前记录的第n个字段,字段间由 FS分隔。
$ 完整的输入记录。
ARGC 命 令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包 含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环 境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字 段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同 NR,但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如 果为真,则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当 前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输 出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由 match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由 match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是\)。

2,运算符

 运算符                                           描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻 辑或
&& 逻辑与
~ ~! 匹 配正则表达式和不匹配正则表达式
< <= > >= != == 关 系运算符
空格 连接
+ - 加,减
* / & 乘,除与求余
+ - ! 一元加,减和逻辑非
^ *** 求幂
++ -- 增加或减少,作为前缀或后缀
$ 字 段引用
in 数组成员

3,awk的正则

 匹配符                     描述
\Y 匹配一个单词开头或者末尾的空字符串
\B 匹配单词内的空字符串
\< 匹配一个单词的开头的空字符串,锚定开始
\> 匹配一个单词的末尾的空字符串,锚定末尾
\W 匹配一个非字母数字组成的单词
\w 匹配一个字母数字组成的单词
\' 匹配字符串末尾的一个空字符串
\‘ 匹配字符串开头的一个空字符串

4,字符串函数

 函数名                         描述
sub 匹配记录中最大、最靠左边的子字符串的正则表达式,并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub 整个文档中进行匹配
index 返回子字符串第一次被匹配的位置,偏移量从位置1开始
substr 返回从位置1开始的子字符串,如果指定长度超过实际长度,就返回整个字符串
split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供,则按当前FS值进行分割
length 返回记录的字符数
match 返回在字符串中正则表达式位置的索引,如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置,RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower 可用于字符串大小间的转换,该功能只在gawk中有效

5,数学函数

 函数名              返回值
atan2(x,y) y,x 范围内的余切
cos(x) 余弦函数
exp(x) 求 幂
int(x) 取整
log(x) 自然对 数
rand() 随机数
sin(x) 正弦
sqrt(x) 平 方根
srand(x) x是rand()函数的种子
int(x) 取 整,过程没有舍入
rand() 产生一个大于等于0而小于1的随机数

练习实例:

一:列出最近登陆系统的n个用户的信息

 [jihite@~]$last -
jihite pts/ :0.0 Mon Aug : still logged in
jihite pts/ :0.0 Mon Aug : still logged in
jihite pts/ :0.0 Mon Aug : still logged in
reboot system boot 3.2.--generic Mon Aug : - : (:)
reboot system boot 3.2.--generic Sat Aug : - : (:)

现在利用awk命令只提取第一列的用户名

 [jihite@~]$last - | awk '{print $1}'
jihite
jihite
jihite
reboot
reboot

解析:awk工作流程:逐行读取(以‘\n’区分),默认以空格分开,0是整行内容,0是整行内容,1是第一列内容。

如果只是显示/etc/passwd的账户

 #cat /etc/passwd |awk  -F ':'  '{print $1}'
root
daemon
bin
sys

二:-F指定分割的符号

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

 #cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh

1,1,7之间以“\t”分开

三:在输出的开头和结尾添加输出

在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

 cat /etc/passwd |awk  -F ':'  'BEGIN {print "name,shell"}  {print $1","$7} END {print "blue,/bin/nosh"}'
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh

awk工作流程是这样的:先执行BEGING,然后读取文件,读入有/n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。

四:搜索含有某关键字的行

(找出含有关键字‘man’的行)

 [jihite@~]$cat '/etc/passwd' | awk -F : '/man/{print $0}'
man:x:::man:/var/cache/man:/bin/sh
colord:x:::colord colour management daemon,,,:/var/lib/colord:/bin/false

五:单双引号

 双引号
awk '{print "\""}' #放大:awk '{print " \" "}'
单引号
awk '{print "'\''"}' # 放大: awk '{print " ' \ ' ' " }'
 $cat del

 abcde
fghig $cat del | awk '{print $1}' abcde
fghig $cat del | awk '{print "'\''"$1"'\''"}'
''
''
'abcde'
'fghig' $cat del | awk '{print "'\''"$1"'\''"","}'
'',
'',
'abcde',
'fghig',

六:内置变量

 ARGC               命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符,等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符

实例

 [jihite@~]$awk  -F ':'  '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF}' /etc/passwd
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:
filename:/etc/passwd,linenumber:,columns:

Linux三剑客之awk的更多相关文章

  1. Linux实战教学笔记18:linux三剑客之awk精讲

    Linux三剑客之awk精讲(基础与进阶) 标签(空格分隔): Linux实战教学笔记-陈思齐 快捷跳转目录: * 第1章:awk基础入门 * 1.1:awk简介 * 1.2:学完awk你可以掌握: ...

  2. (转)不看绝对后悔的Linux三剑客之awk实战精讲

    原文:http://blog.51cto.com/hujiangtao/1923930 一.Linux三剑客之awk命令精讲 第1章 awk基础入门 1.1 awk简介 awk不仅仅时linux系统中 ...

  3. day16 Linux三剑客之awk

    day16 Linux三剑客之awk 1.什么是awk,主要作用是什么? 什么是awk,主要作用是什么? awk 主要用来处理文件,将文本按照指定的格式输出.其中包含变量,循环以及数组. 2.awk的 ...

  4. 磁盘分区 & Linux 三剑客之 awk

    今日内容 磁盘分区 Linux 三剑客之 awk 内容详细 一.磁盘分区 磁盘分区 --> 挂载 步骤 1.关机 2.添加硬盘 3.创建分区 fdisk /dev/sdb or gdisk /d ...

  5. Linux 三剑客之 awk 实战详解教程

    我们知道 Linux 三剑客,它们分别是:grep.sed.awk.在前边已经讲过 grep 和 sed,没看过的同学可以直接点击阅读,今天要分享的是更为强大的 awk. sed 可以实现非交互式的字 ...

  6. 一篇文章带你学会Linux三剑客之一:awk

    awk是一种用于处理文本.模式匹配的编程语言.与sed和grep,俗称Linux下的三剑客.学会 awk 等于你在 Linux 命令行里,又多了一种处理文本的选择.这篇文章重点教你如何使用,看完这篇文 ...

  7. Linux三剑客之awk命令

    awk简介 awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥有自己的语言: AWK 程 ...

  8. 详解Linux三剑客之awk

    第一篇 awk简介与表达式实例 一种名字怪异的语言 模式扫描和处理,处理数据和生成报告. awk不仅仅是linux系统中的一个命令,而且是一种编程语言:它可以用来处理数据和生成报告(excel):处理 ...

  9. Linux三剑客之awk精讲(基础与进阶)

    第1章 awk基础入门 要弄懂awk程序,必须熟悉了解这个工具的规则.本实战笔记的目的是通过实际案例或面试题带同学们熟练掌握awk在企业中的用法,而不是awk程序的帮助手册. 1.1 awk简介 一种 ...

随机推荐

  1. DelphiXE2 DataSnap开发技巧收集

    DelphiXE2 DataSnap开发技巧收集 作者:  2012-08-07 09:12:52     分类:Delphi     标签: 作为DelphiXE2 DataSnap开发的私家锦囊, ...

  2. bootstrap--小李子demo

    最近忙啊...看到各位冬鞋都在认真写博客,认真敲代码,认真工作,总觉得自己时间太少,总觉得时间不够,老了...... 进正题: 上次不知从哪里(忘了)下载了bootstrap的一些使用小demo,以后 ...

  3. GIT GUI的使用

    http://blog.csdn.net/fym0512/article/details/7713006

  4. java命名规范有感

    一. 注()里的内容是自己的吐槽 二. 命名规约 不能以下划线或美元符开始和结尾.反例:_name,$name,name_,name$.(我就从来没这样用过) 不能使用拼音和英文组合方式命名.更不能以 ...

  5. IOS系列swift语言之课时三

    今天需要掌握的内容就是:闭包.类.结构体.属性(计算属性和延迟属性) 同样里面有一些题目,有兴趣的可以做一下. 首先我们需要知道什么是闭包?所谓的闭包就是一个代码块(一般是指函数以及被它捕获的成员变量 ...

  6. C#中关于异步的三种写法

    1 投票 IAsyncResult ar = d1.BeginInvoke(1, 3000, null, null); while (!ar.IsCompleted) class Program { ...

  7. 历史命令:history

    [root@linux ~]# history [n][root@linux ~]# history [-c][root@linux ~]# history [-raw] histfiles参数:n ...

  8. Mediator(中介者)-对象行为型模式

    1.意图 用一个中介对象来封装一系列的对象交互.中介者使各个对象不需要显示地相互引用,从而使其耦合松散,而且可以独立地改变它们之间的交互. 2.动机 通过将集体行为封装在一个单独的中介者对象中,中介者 ...

  9. hdu 1455 Sticks(dfs+剪枝)

    题目大意: George有许多长度相同的木棍,随机的将这些木棍砍成小木条,每个小木条的长度都是整数单位(长度区间[1, 50]).现在George又想把这些小木棒拼接成原始的状态,但是他忘记了原来他有 ...

  10. Hdu OJ 5965 扫雷(递推)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5965 题目大意:中文题,自己读 解图思路:对于每一列都有三种情况--0, 1, 2. 如果第一列确定地 ...