grep家族、sed、awk

一、grep家族

grep是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

在上一次的博客中已经使用过egrep通过正则表达式来匹配正确IP地址，这里的用法就不多说了。

fgrep 命令于 grep 和 egrep 命令不同，因为它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。$, *, [, |, (, ) 和 \ 等字符串被 fgrep 命令按字面意思解释。这些字符并不解释为正则表达式，但它们在 grep 和 egrep 命令中解释为正则表达式。

用fgrep搜索字符串如下例子：

二、sed

sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是 把前一个程序的输出引入sed的输入,经过一系列编辑命令转换为另一种格式输出。（主要用来编辑一个或多个文件；简化对文件的反复操作）
编辑命令格式为:

pattern/action   pattern正则表达式，action为编辑操作

sed编辑过程：

这过程中文件内容没有改，除非使用重定向存储输出。

如下例子：

log文件中的内容：

1./pattern/p:打印匹配pattern的行。

由上图可知sed是把待处理文件的内容连同处理结果一起输出到标准输出的,因此p命令 表示除了把文件内容打印出来之外还额外打印一遍匹配pattern的行。
要想只输出处理结果,应加上-n选项,这种用法相当于grep命令

2、/pattern/d:删除匹配的行

如下图：

3. /pattern/s/pattern1/pattern2/：查找符合pattern的行,将该行第一个匹配pattern1的字符串替换为pattern2
4. /pattern/s/pattern1/pattern2/g：查找符合pattern的行,将该行所有匹配 pattern1的字符串替换为pattern2

以下是这两个的实现从中可以看出区别：

5、sed -i会修改原文件

6、正则表达式

与grep一样， sed也支持特殊元字符，来进行模式查找、替换。不同的是， sed使用的正则表达式是括在斜杠线"/"之间的模式。
^：行首定位符

$：行尾定位符

.：匹配除换行符以外的单个字符

*：匹配零个或多个前导字符

[]：匹配指定字符组内的任意字符

[^]：匹配不在指定字符组内的任意字符

&：保存查找串以便在替换串中引用： s/test/*&*/g 符号&代表查找串。 test将被替换为*test*

三、awk

sed以行为单位处理文件,awk比sed强的地方在于不仅能以行为单位还能以列为单位处理文
件。 awk缺省的行分隔符是换行,缺省的列分隔符是连续的空格和Tab,但是行分隔符和列分隔
符都 可以自定义。

编辑命令的格式为: /pattern/{actions}

awk程序一行一行读出待处理文件,如果某一行与pattern匹配,或者满足condition条件,则执行相应的actions,如果一条awk命令只 有actions部分,则actions作用于待处理文件的每一行。

自动变量$0、$1、$2分别表示一整行、第一列、第二列等；

awk命令的condition部分还可以是两个特殊 的condition-BEGIN和END,对于每个待处理文文件,BEGIN后面的actions在处理整个文件之前执行 一次, 后面的END actions 在整个文件处理完之后执行一次。