grep结合awk简单用法

一、grep简介：

grep （缩写来自Globally search a Regular Expression and Print）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。Unix的grep家族包括grep、egrep和fgrep

表达符集

锚定行的开始如：'^grep'匹配所有以grep开头的行。

锚定行的结束如：'grep$'匹配所有以grep结尾的行。

匹配一个非换行符('\n')的字符如：'gr.p'匹配gr后接一个任意字符，然后是p。

匹配零个或多个先前字符如：' *grep' (注意*前有空格)匹配所有零个或多个空格后紧跟grep的行，需要用egrep 或者grep带上 -E 选项。 .*一起用代表任意字符。

[]

匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。

[^]

匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-F和H-Z的一个字母开头，紧跟rep的行。

$..$

标记匹配字符，如'$love$'，love被标记为1。

锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。

锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。

x\{m\}

重复字符x，m次，如：'o\{5\}'匹配包含5个o的行。

x\{m,\}

重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。

x\{m,n\}

重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。

匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。

\w的反置形式，匹配一个或多个非单词字符，如点号句号等。

单词锁定符，如: '\bgrep\b'只匹配grep。^[2]

用于egrep和 grep -E的元字符扩展集

匹配一个或多个先前的字符。如：'[a-z]\+able'，匹配一个或多个小写字母后跟able的串，如loveable,enable,disable等。

匹配零个或一个先前的字符。如：'gr\?p'匹配gr后跟一个或没有字符，然后是p的行。

a\|b\|c

匹配a或b或c。如：grep|sed匹配grep或sed

分组符号，如：love$ab\le\|rs$ov\+匹配loveable或lovers，匹配一个或多个ov。

参数选项：

列出个别使用频发的选项

　　1、-v 显示不包含匹配文本的所有行

　　过滤掉文件中aaa的行数

　　2、-l 输出匹配的文件名

　　-l 查询多文件时只输出包含匹配字符的文件名，而不输出文本行。

$grep -l "lcj" *

datafile

　　3、-i 忽略大小写

　　-i 关闭大小写敏感性。

　　示例，查找含有“lcj”这三个字符的行，并且不区分大小写：　　

[root@lcj lcj]# cat aa.txt

aaaa

BBBB

cccc

DDDD

eeee

EEEE

[root@lcj lcj]# grep bb  aa.txt

[root@lcj lcj]# grep -i bb  aa.txt

BBBB

[root@lcj lcj]#

　　4、-n 显示匹配的行及行号

　　示例：查找aa.txt文件中含有“CAD”的所有行，并显示行号：　　

[root@lcj lcj]# grep -n c aa.txt

3:cccc

[root@lcj lcj]#

二、awk简介

AWK是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一

实例：

截取文件中指定字段；

　　需要截取GET后面的html数据，前提是要过滤出http 状态码为200

　　grep “\” 200 :过滤出http状态码为200

　　awk -F “GET”：指定从那列开始截取

　　‘{print $2}’：去除字段之间的空格进行截取【如： _"GET_ /11260464.html 】

上面截图虽然前面的字段是我们所需要的字段，可后面还有多余的数据，如下过滤后面多余的数据：

　　awk '{print $1}':去除第一个空格之后的所有数据

　　head：显示前面10条数据，方便查看数据截取结果，最后可以通过>进行重定向指定文件中

案例

　　增加“grep”和“awk“命令结合使用案列：

　　案例：需要获取GET请求，状态码为200，并过滤掉json和area字段的所有行

[root@lcj lcj]# cat 200.txt |grep " 200 " | awk -F"GET" '{print $2}'| awk '{print $1}' | grep -v "/js/" |grep -v  area >test001.csv

　　grep -v过滤字段所在行

继续完善中、、、、、