linux运维、架构之路-正则表达式

一、通配符的含义

符号	参数说明	其他说明
|	管道	把前一个命令结果通过管道传递给后面一个命令
;	命令的分隔符	ll /oldboy/;cat oldboy.tx
.	表示当前目录
*	匹配文本或字符串	ls *.txt,ls *.log
/	根或路径的分隔符
&&	命令分隔	表示并且，前一个执行成功才会执行后面的
$	取变量的值	echo $PATH
{}	配合echo打印序列	echo {1..6}

通配符中以*和{}最为常用

1、举例说明

①查找/oldboy下所有.txt文件

[root@oldboyedu37 oldboy]# find /oldboy -type f -name "*.txt"
/oldboy/abc.txt
/oldboy/oldboy.txt
/oldboy/a.txt

②在/oldboy目录下批量创建10个以文件，例如：oldboy1-oldboy10.txt

[root@oldboyedu37 oldboy]# touch oldboy{..}.txt
[root@oldboyedu37 oldboy]# ls -lrt
-rw-r--r--  root root         Jun   : oldboy9.txt
-rw-r--r--  root root         Jun   : oldboy8.txt
-rw-r--r--  root root         Jun   : oldboy7.txt
-rw-r--r--  root root         Jun   : oldboy6.txt
-rw-r--r--  root root         Jun   : oldboy5.txt
-rw-r--r--  root root         Jun   : oldboy4.txt
-rw-r--r--  root root         Jun   : oldboy3.txt
-rw-r--r--  root root         Jun   : oldboy2.txt
-rw-r--r--  root root         Jun   : oldboy1.txt
-rw-r--r--  root root         Jun   : oldboy10.txt

③{}备份文件作用

[root@oldboyedu37 oldboy]# cp oldboy.txt{,.bak}
-rw-r--r--  root root        Jun   : oldboy.txt.bak

二、正则表达式

1、基本正则表达式（BRE,basic）

符号	参数说明	其他说明
^	以……开始	^word表示以word开始的行或字符串
[^]	在[]里面^表示非	[^word]不包含word的行或字符串
$	以……结尾	word$表示以word结尾的行或字符串
.	代表任意一个字符
*	匹配前一个字符0次或多次
.*	匹配所有
+	匹配前一个字符1次或多次
^$	表示空行	可以理解为以结尾开始，或以开始结尾
{n,m}	匹配前一个字符n到m次
\	转译符号	让一个特殊的字符还原它本来的意义

2、扩展正则表达式（ERE）

3、正则表达式应用——别名环境变更配置vi/etc/profile

主要是给grep和egrep加—color过滤出的内容显示颜色

4、正则表达式使用案例

①模拟环境

[root@oldboyedu37 tmp]# cat oldboy.txt
I am oldboy teacher!
I teach linux.
I like badminton ball ,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.etiantian.org
my qq num is .
not .
my god ,i am not oldbey,but OLDBOY!

②过滤出oldboy.txt以my开头的行

[root@oldboyedu37 tmp]# grep "^my" oldboy.txt
my blog is http://oldboy.blog.51cto.com
my qq num is .
my god ,i am not oldbey,but OLDBOY!

③过滤出oldboy.txt以m结尾的行

[root@oldboyedu37 tmp]# grep "m$" oldboy.txt
my blog is http://oldboy.blog.51cto.com

④^$、过滤出oldboy.txt文件的空行

[root@oldboyedu37 tmp]# grep -n "^$" oldboy.txt
:
:

⑤\. 过滤出oldboy.txt以.结尾的行    .在与三剑客配置中有特殊意义，所以使用撬棍\转译

[root@oldboyedu37 tmp]# grep "\.$" oldboy.txt
I teach linux.
my qq num is .
not .

⑥.*匹配所有内容 grep ".*" oldboy.txt

[root@oldboyedu37 tmp]# grep ".*" oldboy.txt
I am oldboy teacher!
I teach linux.

I like badminton ball ,billiard ball and chinese chess!
my blog is http://oldboy.blog.51cto.com
our site is http://www.etiantian.org
my qq num is .

not .
my god ,i am not oldbey,but OLDBOY!

⑦[ABC]过滤出oldboy.txt文件中以m或n或o开头的行，并且以m或g结尾的行

法一：[root@oldboyedu37 tmp]# grep "^[mon]" oldboy.txt|grep "[mg]$"
my blog is http://oldboy.blog.51cto.com
our site is http://www.etiantian.org

法二：[root@oldboyedu37 tmp]# grep "^[mon].*[mg]$" oldboy.txt
my blog is http://oldboy.blog.51cto.com
our site is http://www.etiantian.org

⑧[^ABC]   排除oldboy.txt文件中以m或n的行

[root@oldboyedu37 tmp]# grep "^[^mn]" oldboy.txt
I am oldboy teacher!
I teach linux.
I like badminton ball ,billiard ball and chinese chess!
our site is http://www.etiantian.org

5、扩展正则表达式（ERE）egrep

①+匹配前一个字符连续出现1次或多次

[root@oldboyedu37 tmp]# egrep "0+" oldboy.txt
my qq num is .
not .

②|配合egrep同时可以过滤多个字符串

[root@oldboyedu37 tmp]# egrep "3306|1521" /etc/services
mysql           /tcp                        # MySQL
mysql           /udp                        # MySQL
ncube-lm        /tcp                # nCube License Manager
ncube-lm        /udp                # nCube License Manager

③{n，m} 重复前面的字符n到m次

[root@oldboyedu37 tmp]# egrep "0{1,5}" oldboy.txt
my qq num is .
not .

6、小试牛刀

①利用sed取ip地址

方法一：
定位到ip地址所在的行
[root@oldboyedu37 tmp]# ifconfig eth0|sed -n '2p'
inet addr:10.0.0.8  Bcast:10.0.0.255  Mask:255.255.255.0
匹配掐头去尾取想要的内容
[root@oldboyedu37 tmp]# ifconfig eth0|sed -n '2p'|sed 's#^.*ddr:##g'|sed 's#  Bc.*$##g'
10.0.0.8

方法二：[root@oldboyedu37 tmp]# ifconfig eth0|sed -n '2p'|sed -r 's#^.*ddr:|Bc.*$##g'
10.0.0.8

方法三：利用sed的后向引用
[root@oldboyedu37 tmp]# ifconfig eth0|sed -n '2p'|sed -r 's#^.*ddr:(.*)Bc.*$#\1#g'
10.0.0.8

方法四：sed直接定位所取的行并匹配替换
[root@oldboyedu37 tmp]# ifconfig eth0|sed -nr '2s#^.*ddr:(.*)Bc.*$#\1#gp'
10.0.0.8

②取/etc/hosts文件属性权限

方法一：[root@oldboyedu37 tmp]# stat /etc/hosts|sed -nr '4s#^.*\(0(.*)/-.*$#\1#gp'

方法二：[root@oldboyedu37 tmp]# stat /etc/hosts|sed -n '4p'|sed 's#^.*(0##g'|sed 's#/-.*$##g'

方法三：利用stat命令带的参数直接取出
[root@oldboyedu37 tmp]# stat -c %a /etc/hosts

7、date显示时间

①工作中常配合tar命令打包使用

[root@oldboyedu37 /]# tar zcvf oldboy_$(date +%F).tar.gz oldboy/
oldboy/
oldboy/netstat.log
oldboy/web_url.log
oldboy/oldboy.txt
oldboy/t1.awk
oldboy/access-test.log
oldboy/.bak
oldboy/oldboy.log

②简写几天前、几天后

date -d '+3day'    #——>显示3天后的日期时间
date -d '-3day'    #——>显示3天前的日期时间
date -d '-3hour'   #——>显示3小时前的日期时间
[root@oldboyedu37 /]# date +%F -d '-1day'——工作中常用方法打包，打包一天前

 三、AWK格式及使用正则

1、通过awk取出passwd的第5行内容

[root@nfs-server oldboy]# awk 'NR==5' passwd
lp:x:::lp:/var/spool/lpd:/sbin/nologin

2、显示passwd第五行的最后一列

[root@nfs-server oldboy]# awk -F ":" 'NR==5{print $NF}' passwd
/sbin/nologin

3、找出passwd中以root开头的行

[root@nfs-server oldboy]# awk '/^root/' passwd
root:x:::root:/root:/bin/bash

4、找出passwd第六列中包含home的行

[root@nfs-server oldboy]# awk -F ":" '$6~/home/' /etc/passwd
salt:x::::/home/salt:/bin/bash

小题：

已知[root@nfs-server files]# cat reg.txt
Zhang Dandan       :::
Zhang Xiaoyu      :::
Meng  Feixue       :::
Wu    Waiwai       :::
Liu   Bingbing     :::
Wang  Xiaoai     :::
Zi    Gege       :::
Li    Youjiu      :::
Lao   Nanhai      :::
说明：
###第一列是姓氏
###第二列是名字
###第一第二列合起来就是姓名
###第三列是对应的ID号码
###最后三列是三次捐款数量

①姓氏是Zhang的人，显示他的第二次捐款金额及她的名字

[root@nfs-server files]# awk -F "[ :]+" '/^Zhang/{print $1,$2,$5}' reg.txt
Zhang Dandan
Zhang Xiaoyu 

②显示Xiaoyu的姓氏和ID号码

[root@nfs-server files]# awk '$2~/Xiaoyu/{print $1,$3}' reg.txt
Zhang 

③显示所有以41开头的ID号码的人的全名和ID号码

[root@nfs-server files]# awk '$3~/^41/{print $1,$2,$3}' reg.txt
Zhang Dandan
Liu Bingbing 

④显示所有以一个D或X开头的人名全名

[root@nfs-server files]# awk '$2~/^[DX]/{print $1,$2}' reg.txt
Zhang Dandan
Zhang Xiaoyu
Wang Xiaoai

⑤显示所有ID号码最后一位数字是1或5的人的全名

[root@nfs-server files]# awk '$3~/[15]$/{print $1,$2}' reg.txt
Zhang Xiaoyu
Wu Waiwai
Wang Xiaoai
Li Youjiu
Lao Nanhai

⑥显示Xiaoyu的捐款.每个值时都有以$开头.如$520$200$135

方法一：[root@nfs-server files]# awk '/Xiaoyu/{print $4}' reg.txt|tr ":" "$"
$$$
方法二：
[root@nfs-server files]# awk '/Xiaoyu/{gsub(/:/,"$",$NF);print $NF}' reg.txt
$$$
方法三：
[root@nfs-server files]# awk '/Xiaoyu/{print $4}' reg.txt|sed 's#:#$#g'
$$$

⑦显示所有人的全名，以姓,名的格式显示，如Meng,Feixue

[root@nfs-server files]# awk '{print $1","$2}' reg.txt
Zhang,Dandan
Zhang,Xiaoyu
Meng,Feixue
Wu,Waiwai
Liu,Bingbing
Wang,Xiaoai
Zi,Gege
Li,Youjiu
Lao,Nanhai

四、 AWK数组计算

1、计算/etc/services 文件有多少个空行 awk

[root@nfs-server files]# awk  '/^$/{i=i+1}END{print i}' /etc/services

2、已知：cat url.txt，计算出域名出现的次数

http://www.etiantian.org/index.html

http://www.etiantian.org/1.html

http://post.etiantian.org/index.html

http://mp3.etiantian.org/index.html

http://www.etiantian.org/3.html

http://post.etiantian.org/2.html

方法一：[root@nfs-server files]# awk -F "[/.]+" '{print $2}' url.txt|sort|uniq -c
       mp3
       post
       www
方法二：数组方法：[root@nfs-server files]# awk -F "[/.]+" '{hotel[$2]++}END{for(pol in hotel)print pol,hotel[pol]}' url.txt
www
mp3
post 

3、使用awk计算1加到100

方法一：[root@nfs-server files]#  awk 'BEGIN{ for(i=1;i<=100;i++) sum=sum+i;print sum}'

方法二：
[root@nfs-server files]# seq |awk '{hotel=hotel+$1}END{print hotel}'

4、假如现在有个文本，格式如下：

a  1

b  3

c  2

d  7

b  5

a  3

g  2

f  6

d  9

即左边是随机字母，右边是随机数字，要求写个脚本使其输出格式为：

a  4

b  8

c  2

d  16

f  6

g  2

解答：

[root@nfs-server files]# awk '{hotel[$1]=hotel[$1]+$2}END{for(pol in hotel)print pol,hotel[pol]}' a.txt
a
b
c
d
f
g