awk-笔记

语法形式：

awk [options] 'script' var=value file1 [file...]

awk [options] -f scriptfile var=value file [file...]

常用命令选项：

-F指定分隔符，可以是字符串或正则表达式

-v自定义一个变量，并传递给awk，如：awk -v myname='zhaoyingnan' '{print myname}' f1

-f从脚本文件中获取命令，如：awk -v myname='zhaoyingnan' -f 1.awk f1

模式：

/正则表达式/：使用通配符的扩展集

关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试

模式匹配表达式：用运算符~（匹配）和~!（不匹配）

BEGIN语句块、pattern语句块、END语句块

工作原理：

第一步：执行BEGIN{ commands }语句块中的语句

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕

第三步：当读至输入流末尾时，执行END{ commands }语句块

 

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块

pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

例：

awk -v myname='zhaoyingnan' 'BEGIN{print "Hello";}{print myname;}END{print "Bye";}' f1

预定义变量：

$n当前记录的第n个字段

$0当前行的文本内容

FILENAME当前输入文件的名

FS字段分隔符（默认是任何空格）

RS记录分隔符（默认是一个换行符）

NF表示字段数，当前行的字段数

NR表示记录数，当前的行号

FNR表示记录数，若只读一个文件，等同NR，但多个文件时，总会在读取文件开始被重置为1,但NR则不会

OFS输出字段分隔符（默认值是一个空格）

ORS输出记录分隔符（默认值是一个换行符）

ENVIRON环境变量关联数组

ERRNO最后一个系统错误的描述

ARGC命令行参数的数目

ARGV包含命令行参数的数组

ARGIND命令行中当前文件的位置（从0开始算）

CONVFMT数字转换格式（默认值为%.6g）

FIELDWIDTHS字段宽度列表（用空格键分隔）

IGNORECASE如果为真，则进行忽略大小写的匹配

OFMT数字的输出格式（默认值是%.6g）

RSTART由match函数所匹配的字符串的第一个位置

RLENGTH由match函数所匹配的字符串的长度

SUBSEP数组下标分隔符（默认值是34）

运算符优先级：

流程控制：

if(表达式){ 语句1; }else if(表达式){ 语句2; }else{ 语句3; }

while(表达式){ 语句; }

for(变量 in 数组){ 语句; }

for(变量;条件;表达式){ 语句; }

do{ 语句; } while(条件)

break 当 break 语句用于 while 或 for 语句时，导致退出程序循环

continue 当 continue 语句用于 while 或 for 语句时，使程序循环移动到下一个迭代

next 能能够导致读入下一个输入行，并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程

exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则，或在END中应用exit语句，则终止脚本的执行

数组：

数组定义，获取长度和输出：gawk 'BEGIN{ array[1]="zhangsan";array[2]="lisi";array["first"]="www";print "array length is "length(array); }{ for(i in array){ print array[i]; } }' f1

判断数组的key是否存在，存在则删除：gawk 'BEGIN{ array["fruit"]="apple"; }{ if("fruit" in array){ print array["fruit"]; delete array["fruit"]; }else{ print "no found"; } }END{ print length(array); }' 

内置函数：

• 算数函数：

atan2( y, x ) 返回 y/x 的反正切

cos( x ) 返回 x 的余弦；x 是弧度

sin( x ) 返回 x 的正弦；x 是弧度

exp( x ) 返回 x 幂函数

log( x ) 返回 x 的自然对数

sqrt( x ) 返回 x 平方根

int( x ) 返回 x 的截断至整数的值

rand( ) 返回任意数字 n，其中 0 <= n < 1

srand( [expr] ) 将 rand 函数的种子值设置为 Expr 参数的值，或如果省略 Expr 参数则使用某天的时间返回先前的种子值

• 字符串函数：

gsub( Ere, Repl, [ In ] ) 除了正则表达式所有具体值被替代这点，它和 sub 函数完全一样地执行

sub( Ere, Repl, [ In ] ) 用 Repl 参数指定的字符串替换 In 参数指定的字符串中的由 Ere 参数指定的扩展正则表达式的第一个具体值 sub 函数返回替换的数量 出现在 Repl 参数指定的字符串中的 &（和符号）由 In 参数指定的与 Ere 参数的指定的扩展正则表达式匹配的字符串替换 如果未指定 In 参数，缺省值是整个记录（$0 记录变量）

index( String1, String2 ) 在由 String1 参数指定的字符串（其中有出现 String2 指定的参数）中，返回位置，从 1 开始编号 如果 String2 参数不在 String1 参数中出现，则返回 0（零）

length [(String)] 返回 String 参数指定的字符串的长度（字符形式） 如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）

blength [(String)] 返回 String 参数指定的字符串的长度（以字节为单位） 如果未给出 String 参数，则返回整个记录的长度（$0 记录变量）

substr( String, M, [ N ] ) 返回具有 N 参数指定的字符数量子串 子串从 String 参数指定的字符串取得，其字符以 M 参数指定的位置开始 M 参数指定为将 String 参数中的第一个字符作为编号 1 如果未指定 N 参数，则子串的长度将是 M 参数指定的位置到 String 参数的末尾 的长度

match( String, Ere ) 在 String 参数指定的字符串（Ere 参数指定的扩展正则表达式出现在其中）中返回位置（字符形式），从 1 开始编号，或如果 Ere 参数不出现，则返回 0（零）

RLENGTH 特殊变量设置为匹配的字符串的长度，或如果未找到任何匹配，则设置为 -1（负一）

split( String, A, [Ere] ) 将 String 参数指定的参数分割为数组元素 A[1], A[2], . . ., A[n]，并返回 n 变量的值 此分隔可以通过 Ere 参数指定的扩展正则表达式进行，或用当前字段分隔符（FS 特殊变量）来进行（如果没有给出 Ere 参数） 除非上下文指明特定的元素还应具有一个数字值，否则 A 数组中的元素用字符串值来创建

tolower( String ) 返回 String 参数指定的字符串，字符串中每个大写字符将更改为小写 大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义

toupper( String ) 返回 String 参数指定的字符串，字符串中每个小写字符将更改为大写 大写和小写的映射由当前语言环境的 LC_CTYPE 范畴定义

sprintf(Format, Expr, Expr, . . . ) 根据 Format 参数指定的 printf 子例程格式字符串来格式化 Expr 参数指定的表达式并返回最后生成的字符串

• 其他函数：

close( Expression ) 用同一个带字符串值的 Expression 参数来关闭由 print 或 printf 语句打开的或调用 getline 函数打开的文件或管道 如果文件或管道成功关闭，则返回 0；其它情况下返回非零值 如果打算写一个文件，并稍后在同一个程序中读取文件，则 close 语句是必需的

system(command ) 执行 Command 参数指定的命令，并返回退出状态 等同于 system 子例程

Expression | getline [ Variable ] 从来自 Expression 参数指定的命令的输出中通过管道传送的流中读取一个输入记录，并将该记录的值指定给 Variable 参数指定的变量 如果当前未打开将 Expression 参数的值作为其命令名称的流，则创建流 创建的流等同于调用 popen 子例程，此时 Command 参数取 Expression 参数的值且 Mode 参数设置为一个是 r 的值 只要流保留打开且 Expression 参数求得同一个字符串，则对 getline 函数的每次后续调用读取另一个记录 如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录

getline [ Variable ] < Expression 从 Expression 参数指定的文件读取输入的下一个记录，并将 Variable 参数指定的变量设置为该记录的值 只要流保留打开且 Expression 参数对同一个字符串求值，则对 getline 函数的每次后续调用读取另一个记录 如果未指定 Variable 参数，则 $0 记录变量和 NF 特殊变量设置为从流读取的记录

getline [ Variable ] 将 Variable 参数指定的变量设置为从当前输入文件读取的下一个输入记录 如果未指定 Variable 参数，则 $0 记录变量设置为该记录的值，还将设置 NF、NR 和 FNR 特殊变量

• 时间函数：

mktime( YYYY MM dd HH MM ss[ DST]) 生成时间格式 strftime([format [, timestamp]]) 格式化时间输出，将时间戳转为时间字符串 具体格式

systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数