awk、sed处理文件的简单例子

　　awk、sed对处理日志文件和写shell脚本时非常有益。这个东西，如果不经常操作，真心过一段时间就忘差不多。。要掌握熟练，就要多练习，这没什么可说的。

awk '条件{命令}' filename

假设一个待处理的文件test是这样的：

比如我需要第一列是tcp的，并打印出第4列和第6列

　　awk '/^tcp/ {print $4,"\t",$6}' test

　或者　awk '$1 == "tcp" {print $4,"\t",$6}' test

比如我想在刚才打印的两列上边，写个头。比如4列头是aaa，6列头是bbb。4列尾是ccc，6列尾是ddd

　　awk 'BEGIN {print "aaa","\t","bbb"} /^tcp/ {print  $4,"\t",$6} END {print "ccc","\t","ddd"}' test

第二列显然没对齐，可以使用类似于C语言的printf格式化输出。

值得注意的是，awk是以文件每一行进来处理的。

不难发现，语法中单引号里头，都是按照"条件+{动作}"这种格式来的。

比如BEGIN是条件， {print "aaa","\t","bbb"}是动作；BEGIN是在文件处理第一行开始前先执行的。

/^tcp/ 是条件，{print  $4,"\t",$6}是动作；

END是条件，{print "ccc","\t","ddd"}是动作。END是在文件处理结束以后，执行的。

当一个动作{A}前边紧接着还是个{动作X}，就意味着A这个动作没有条件，就是指什么条件都可以。

awk中几个内置变量很常用。F表示字段，域，是Field...

比如FS是分隔符号，NR是awk读取的记录数（awk是一行一行的读取），NF是读取的列数

NR：number of records  原文件记录的第几行数

NF：number of fields   该行记录的总列数

举个例子：用户文件/etc/passed是以冒号分隔的

awk '{FS=":"}{print $1,"\t",$2}' /etc/passwd | head -n10

发现第一行并没有得到我们想要的效果。这是因为{FS=":"}这个命令前边并没有条件限制，而此时awk已经把第一行读完了。所以如此。

这里就需要在{FS=":"}这个命令的前边加上BEGIN关键字就好了。

还有很多例子...

前边的NR、NF是awk的内置变量。awk也可以自定义变量，awk编程。

比如上边的/etc/passwd中有多少个用户（也是多少行...）并且输出每个用户名

利用awk编程实现可以这样：

# awk -F ':'  '{num++; print $1;}  END {print 'total is ', num}'

{ }中两个命令使用分号 ; 分隔。

输出的分隔符，比如输出的列用逗号分割，利用OFS

awk -F',' 'BEGIN{OFS=","} {print $2,$6,$9}'  xx.log

再举个例子：找出文件xxx.txt中不是以#开头的所有行

awk '{if($1!~/^#/) print $0}' xxx.txt

sed的命令( stream editor 流编辑器),同样是对行的处理。注意匹配什么

s是替换，重点是匹配什么。

d是删除，用数字表示行，或者也利用匹配行

i是行前插入

a是行后追加

c是替换整个行

===========---------------几个例子

比如删除2到4行的内容

sed '2,4d' filename

sed '2,$d' filename   从第二行开始都删除

sed '/^#/ d' filename #开头的行删除

清除一个文件的空行

sed '/^$/d' test.log > test1.log

数字替换成xx

sed 's/[0-9]/xx/g'

替换8到10行的内容，把其中每行出现的udp替换成tcp

sed '8,10s/udp/tcp/g' filename

如果说只替换每行出现的第一个，这样写

sed 's/udp/tcp/1' filename

在第一行插入字符串hehe，换行

sed '1 i hehe' filename

在原来的第2行到第4行上，都插入xxx

sed '2,4 i xxx' filename

在第2行后面追加字符串hi，换行

sed '2 a hi' filename

在原来的第2行到第4行上，都追加xxx

sed '2,4 a xxx' filename

取出一个文件a.log的2到12行内容

sed -n '2,12p'  a.log

推荐以下这几篇文章，很不错的哈：

sed:

http://coolshell.cn/articles/9104.html

awk:

http://coolshell.cn/articles/9070.html

http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html

http://www.linuxsong.org/2010/09/awk-string-function/

awk提供了许多强大的字符串函数，见下表：
awk内置字符串函数

gsub(r,s)	在整个$0中用s替代r
gsub(r,s,t)	在整个t中用s替代r
index(s,t)	返回s中字符串t的第一位置
length(s)	返回s长度
match(s,r)	测试s是否包含匹配r的字符串
split(s,a,fs)	在fs上将s分成序列a
sprint(fmt,exp)	返回经fmt格式化后的exp
sub(r,s)	用$0中最左边最长的子串代替s
substr(s,p)	返回字符串s中从p开始的后缀部分
substr(s,p,n)	返回字符串s中从p开始长度为n的后缀部分

比如应用一个

awk -F'xxx' '{print substr($1,0,index($1," ")),substr($2,0,index($2,"\"")-1)}'