Shell文本处理四剑客

5.1 【grep】

全面搜索正则表达式（GREP）是一种强大的文本搜索工具，能使用正则 表达式搜索文本，并把匹配的行打印出来

过滤来自一个文件或标准输入匹配模式内容

除了grep外，还有egrep，fgrep,egrep是grep的扩展，相当于grep -E ,fgrep下相当于grep -f，用的较少

文件的正则                                  描述

-E，--extended-regexp            模式是扩展正则表达式

-P，perl-regexp                       模式是perl正则表达式

-e,regexp=PATHERN              使用模式匹配，可指定多个模式匹配

-f,--file=FILE                            从文件每一行获取匹配模式

-i，--ignore-ease                    忽略大小写

-w,word-regexp                      模式匹配

-x,--line-regexp                       模式匹配

整行

-v，--invert-math                   打印不匹配的行

输出控制　　　　　　　　　　　描述

-m,--max-count=NUM              输出匹配的结果num

-n,--line-number                        打印行号

-H，--with-filename                打印每个匹配的文件名

-h,  --no-filename                      不输出文件名

-o,--only-matching                    只打印匹配的内容

-q,--quit                                 不输出正常信息

-s,--no-messages                 不输出错误信息

-r,--recursive                         递归目录

-c,--count                                只打印每个文件匹配的行数

内容行控制                                          描述

-B，--berfore-context=NUM             打印匹配的前几行

-A，--after-context=NUM               打印匹配的后几行

-C，--contect=NUM                      打印那匹配的前后几行

示例：

1）输出1.sh和2.sh相同的行

root@localhost ~]# grep -f 1.sh 2.sh

2）输出2.sh文件中在1.sh文件不同的行

root@localhost ~]# grep -v  -f 1.sh 2.sh 

3）匹配多个模式

root@localhost ~]# echo "a bc de" | xargs -n1 | grep -e 'a' -e 'bc'
a
bc

4)去除空格httpd.conf文件空行或开头#号引用的行

[root@localhost ~]# grep -E -v "^$|^#" /etc/httpd/conf/httpd.conf 

5)匹配开头不分大小写的单词

[root@localhost ~]# echo "A a B c"| xargs -n1| grep -i a

[root@localhost ~]# echo "A a B c"| xargs -n1| grep '[A a]'
A
a

6）只显示匹配的字符串

[root@localhost ~]# echo "this is a test" | grep -o 'is'
is
is

root@localhost ~]# grep -c "nginx" /etc/passwd       #统计nginx字符的总行数

1

[root@localhost ~]# grep -i "nginx" /etc/passwd
nginx:x:500:500::/home/nginx:/sbin/nologin

[root@localhost ~]# grep -n "nginx" /etc/passwd       #打印”nginx”的行以及行号
20:nginx:x:500:500::/home/nginx:/sbin/nologin

[root@localhost ~]# grep -v "nginx" /etc/passwd      #取反，不打印nginx行

5.2【Sed】

   sed是一个非交互文本编辑。对文本文件和标准输入进行编辑，标准输入可以来自键盘输入，文本重定向，字符串，变量，甚至来自于管道的文本，与VIM编辑器类似，它一次处理一行内容，sed可以编辑一个或多个文件，简化对文件的反复操纵，编写转换程序等

   在处理文本时把当前处理的行存储在临时缓冲区中，称为“模式空间”紧接着用SED命令处理缓冲区的内容，处理完成之后把缓冲区的内容输出至屏幕或者写入文件

   逐行处理直到文件末尾，然而如果打印在屏幕上，实质文件内容并没有改变。除非你使用重定向存储或者写入文件

x      #为指定行号

x,y   #指定从x到y的行号范围

/pattern     #查询包含模式的行

/pattern/pattern/     #查询包含两个模式的行

/pattern/,x      #从与pattern的匹配行到x号行之间的行

/x/pattern/      #从x号行到与pattern的匹配行之间的行

x,y！          #查询不包括x和y行号的行

r            #从另一个文件中读取文件

w           #将文本写入到一个文件

y            #变换字符

q            #第一模式匹配完成退出

{}            #在定位行执行的命令组

p             #打印匹配行

=             #打印文本行号

a\             #在定位行号之后追加文本信息

i\              #在定位行号之前插入文本信息

d              #删除定位行

c\            #用新文本替换定位文本

s              #使用替换模式替换相应模式

n             #读取下一个输入行，用下一个命令处理新的行

N             #将当前读入行的下一行读取到当前的模式空间

h             #将模式缓冲区的文本复制到保持缓冲区

H            #将模式缓冲区的文本追加到保持缓冲区

x              #互换模式缓冲区和保持缓冲区的内容

g              #将保持缓冲区的内容复制到模式缓冲区

G             #将保持缓冲区的内容追加到模式缓冲区

如果用户希望在某个条件下脚本中的某个命令被执行，或者是希望模式空间

#N，D，P:处理多行模式空间的问题

#H，h,G,g,x：将模式空间的内容放入存储空间以便接下来的编辑

#:、b、t、：在脚本中实现分支与条件结构

[匹配打印（p]

1)打印匹配blp5名称开头的行

[root@localhost ~]# tail /etc/services | sed -n '/^blp5/p'
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator

2）打印第一行

[root@localhost ~]# tail /etc/services | sed -n '1p'
nimgtw 48003/udp # Nimbus Gateway

3）打印第一行至第三行

[root@localhost ~]# tail /etc/services | sed -n '1,3p'
nimgtw 48003/udp # Nimbus Gateway
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services

4）打印奇数行

[root@localhost ~]# seq 10 | sed -n '1~2p'
1
3
5
7
9

5）打印匹配行以及后一行

[root@localhost ~]# tail /etc/services | sed -n '/nimgtw/,+1p'
nimgtw 48003/udp # Nimbus Gateway
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol

6）打印最后一行

[root@localhost ~]# tail /etc/services | sed -n '$p'
iqobject 48619/udp # iqobject

7）不打印最后一行

[root@localhost ~]# tail /etc/services | sed -n '$!p'
nimgtw 48003/udp # Nimbus Gateway
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services
blp5 48129/tcp # Bloomberg locator
blp5 48129/udp # Bloomberg locator
com-bardac-dw 48556/tcp # com-bardac-dw
com-bardac-dw 48556/udp # com-bardac-dw
iqobject 48619/tcp # iqobject

8）打印第一行至第三行，

[root@localhost ~]# tail /etc/services | sed -n '1p;3p'
nimgtw 48003/udp # Nimbus Gateway
isnetserv 48128/tcp # Image Systems Network Services

9）删除匹配行至最后一行

root@localhost ~]# tail /etc/services | sed '/blp5/,$d'
nimgtw 48003/udp # Nimbus Gateway
3gpp-cbsp 48049/tcp # 3GPP Cell Broadcast Service Protocol
isnetserv 48128/tcp # Image Systems Network Services
isnetserv 48128/udp # Image Systems Network Services

10）删除最后一行

[root@localhost ~]# tail /etc/services | sed '$d' 

11）在nimgtw的下一行添加去xiaoyu字符串

[root@localhost ~]# tail /etc/services | sed '/nimgtw/axaioyu' 

12）在nimgtw的上一行添加word字符串

root@localhost ~]# tail /etc/services | sed '/nimgtw/iword' 

13）在文件中查找以Service结尾的行尾添加字符串work，$表示结尾标识，&标识在sed中添加

14）在文件中查找以nimgtw的行，在其行首添加字符串word，^表示起始标识，&在sed中表示添加

[root@localhost ~]# tail /etc/services | sed '/nimgtw/s/^/&work/g'

15）多个sed命令组合，使用-e参数

[root@localhost ~]# tail /etc/services | sed -e '/nimgtw/s/^/&work/g' -e 's/Protocol$/&xiaoyu/g'

16）系应该Selinux策略enforcing为disabled,查找/SELINUX/行。然后将行enforcing值改成disabled，!s表示不包括SELINXU行

[root@localhost ~]# sed '/SELINUX/s/disabled/xiaoyu/g' /etc/selinux/config

5.3【Find】

主要用于操作系统文件，目录的查找，其语法参数的格式为：

find   path  -option    [-print]   [-exe   -ok   command]  {}  \;

参数常用参数详解如下：

-name  filename       #查找为filename的文件

-type    b/d/c/l/f            #查找块设备，目录，字符设备，管道，符号链接，普通文件

-size         n[c]                #查长度为n块【或n字节】的文件；

-perm                            #按执行权限来查找

-user          username      #按文件属主来查找

-group      groupname      #按组来查找

-mtime       -n   +n           #按文件更改时间来查找文件，-n指n天以内，+n指n天以前

-atime     -n   +n           #按文件访问天时间来查找文件

-ctime     -n    +n            #按文件创建天时间来查找文件

PS:-mmin   -amin   -cmin     #根据分钟来进行匹配查找

-nogroup                     #查找有效的属组的文件

-nouser                     #查找有效的属主的文件

-prune                        #忽略某个目录

-maxdepth                  #差找目录级别深度

1）Find工具-name参数案例

 find /data/ -name "*.txt"          #查找/data目录下以.txt结尾的文件

find   /data/    -name  "[A-Z]"    #查找/data目录一大写字母开头的文件

find   /data/      -name  "test.*"    #查找目录下以test开否的文件  

2）-type参数案列

 find /data/ -type d             #查找目录下的文件夹

 find    /data/   ！-type  d    #查找目录下的非文件夹

 find    /data/     -type -l        #查找目录下的链接文件

 find     /data/   -type  d | xarges chmod   755  -R   #查找目录类型并将权限设置为755

find    /data/   -type f   | xarges  chmod 644    -R      #查找文件类型并将权限设置为644

3）-size参数案列

find    /data/    -size    +1M      #查找文件大小大小1MB的文件

find    /data/   -size     10M      #查找文件为10MB的文件

find    /data/    -size   -1M        #查找文件小于1MB的文件

4）-perm参数案列 （权限参数）

find   /data/   -perm  755     #查找/data/目录权限为755的文件或者目录

find   /data/     -perm     -007    #查找与-perm777相同，表示所有权限

find   /data      -perm    +644      #查找文件权限在644以上

5）-mtime/-ctime/atime参数案例

atime：文件被读取或者是执行的时间

ctime：文件状态被修改时间

mtime：文件内容被修改时间

find   /data/   -mtime  +10   -name     "*.log"       #查找10天以前被修改的log结尾文件

find    /data/    -ctime   +10   -name  "*.txt"      #查找10天以前的所创建以txt结尾的文件

find    /data/    -atime     +10   -name   ".txt"      #查找10天以前被访问的txt结尾的文件

综合案列~~~~~

#查找/data目录以.log结尾，文件大于10k的文件，同时cp到/tmp目录;

find /data/ -name "*.log"  –type f  -size +10k -exec cp {} /tmp/ \;

#查找/data目录以.txt结尾，文件大于10k的文件，权限为644并删除该文件;

find /data/ -name "*.log"  –type f  -size +10k  -m perm 644 -exec rm –rf {} \;

#查找/data目录以.log结尾，30天以前的文件，大小大于10M并移动到/tmp目录;

find /data/ -name "*.log"  –type f  -mtime +30 –size +10M -exec mv {} /tmp/ \;

5.4【AWK】

awk是一个优良的文本处理工具，linux及Unix环境中现有的功能最强大的数据处理引擎之一，awk是一个行级文本高效处理 工具，awk经过该井生成新的版本有Nawk,Gawk，一般默认为Gawk，Gawk是awk的GUN开源免费版本

AWK基本原理是逐行处理文本中的数据，查找与命令行中所给定的内容相匹配的模式，如果发现匹配内容，则进行下一个编程步骤，如果找不到匹配内容，则进行下一行；

器语法参数格式为：awk ‘pattern  +  {action}’   file

1）awk基本语法参数详解：

#单引号‘’是和shell命令区分开；

#大括号{}表示一个命令分组

#pattern是一个过滤器，表示匹配pattern条件的行才进行Action处理

#action是处理动作，常见动作为Print；

#使用#作为注释，pattern和action可以只有其一，但不能两者都没有；

2）AWK内置变量详解：

#FS    分隔符，默认是空格

#OFS  输出分隔符

#NR     当前行数，从1开始

#NF     当前记录字段个数

#$0       当前记录

#$1~$n    当前记录第n个字段（列）

3）AWK内置函数详解：

#gsub(r,s)：在$0中用s代替r；

#length(s):s的长度

案例：

cat /etc/passwd | awk 'length($0)>50{print NR}'     #打印配置文件中，长度大于50的行号；

打印第一列同时只显示前五行（以下两种方式）

cat /etc/services | head -5 | awk -F: '{print $1}'   

cat /etc/services | awk -F: 'NR>=1&&NR<=5 {print $1}'

# /etc/services
# $Id
#
# Network services, Internet style
# IANA services version

AWK添加自定义字符，过滤到ip

ifconfig eth0 | grep "Bcast" | awk '{print $2}' | awk -F: '{print $2}'
192.168.2.138

AWK格式化输出passwd内容，printf打印字符串，%格式化输出分隔符，s表示字符串类型，-12表示12个字符，-6表示6个字符；

# awk -F: '{printf" %-12s %-6s %-8s\n",$1,$2,$NF}' /etc/passwd

awk分析Nginx访问日志的状态码404,502,等错误信息页面，统计次数大于20的IP地址

[root@localhost logs]# awk '{if ($9~/502|499|500|503|404/) print $1,$9}' access.log|sort|uniq -c|sort -nr | awk '{if($1>1) print $2}'

统计TCP连接状态

 # netstat -antp | awk '/^tcp/{a[$6]++}END{for(v in a)print a [v],v}'

# netstat -an  | awk '/tcp/ {print $NF}'  | sort | uniq -c

2 ESTABLISHED
5 LISTEN