【Linux相识相知】文本处理工具之grep\egrep\fgrep及正则表达式
常说Linux上有文本处理的三剑客，grep、sed和awk，本文就grep做出详细的描述，并引出正则表达式。
grep
NAME：打印模式匹配的行
SYNOPISIS：
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]
常用选项：
--color=auto：对匹配到的文本着色后进行高亮显示，默认已被别名alias grep='grep --color=auto'
-i：忽略字符的大小写
-o：仅显示匹配到的字符串本身
-v：显示不能被模式匹配到的行
-E：支持使用扩展的正则表达式
-q：静默模式，即不输出任何信息
-A #：显示被模式匹配的行及其后#行
-B #：显示被模式匹配的行及其前#行
-C #：显示被模式匹配的行及其前后各#行
举例1：匹配/etc/passwd下有frank的行
[root@localhost tmp]# grep "frank" /etc/passwd
frank:x:::frank:/home/frank:/bin/bash
举例2：匹配/etc/passwd下有frank的行，忽略大小写
[root@localhost tmp]# grep -i "frank" /etc/passwd
frank:x:::frank:/home/frank:/bin/bash
Frank:x::::/home/Frank:/bin/bash
举例3：匹配/etc/passwd下不能被bash匹配的行
[root@localhost tmp]# grep -v "bash" /etc/passwd
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
......
pulse:x:::PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
gdm:x::::/var/lib/gdm:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
举例4：仅仅匹配/etc/passwd下的frank，忽略大小写
[root@localhost tmp]# grep -oi "frank" /etc/passwd
frank
frank
frank
Frank
Frank
举例5：静默模式匹配含有frank的行
[root@localhost tmp]# grep -q "frank" /etc/passwd
[root@localhost tmp]#
举例6：匹配/etc/passwd下含有ftp的行及其后3行
[root@localhost tmp]# grep -A "ftp" /etc/passwd
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:::systemd Network Management:/:/sbin/nologin
举例7：匹配/etc/passwd下含有ftp的行及其前3行
[root@localhost tmp]# grep -B "ftp" /etc/passwd
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
举例8：匹配/etc/passwd下含有ftp的行及其前后各2行
[root@localhost tmp]# grep -C "ftp" /etc/passwd
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
egrep
支持扩展正则表达式实现类似于grep的文本过滤功能，相当于grep -E
NAME：打印模式匹配的行
SYNOPISIS：
egrep [OPTIONS] PATTERN [FILE...]
-i：忽略字符的大小写
-o：仅显示匹配到的字符串本身
-v：显示不能被模式匹配到的行
-q：静默模式，即不输出任何信息
-A #：显示被模式匹配的行及其后#行
-B #：显示被模式匹配的行及其前#行
-C #：显示被模式匹配的行及其前后各#行
-G:支持基本正则表达式
fgrep
fgrep搜索字符串而不是搜索匹配的表达式的模式，所以支持正则表达式，当无需要用到元字符去编写模式的时候，使用fgrep必能更好更快。
支持-i,-v,-o,-A,-B,-C,-p等选项
正则表达式
Regular Expression，正则表达式，由一类特殊字符及文本字符编写的模式，其中有些不表示其字面的意义，而是用户控制或通配功能，分为基本正则表达式和扩展正则表达式。
基本正则表达式元字符：
字符匹配
. ：匹配任意单个字符；
[]：匹配指定范围内的任意单个字符；
特殊匹配：[:digit:] 匹配任意单个数字
[:lower:] 匹配任意单个小写字母
[:upper:] 匹配任意单个大写字母
[:alpha:] 匹配任意单个字母
[:alnum:] 匹配任意单个字母或数字
[:punct:] 匹配任意单个符号
[:space:] 匹配单个空格
[^]：匹配指定范围外的任意单个字符；
匹配次数
用在要指定其出现的次数的字符后面，用于限制其前面字符出现的次数，默认工作于贪婪模式
*：匹配其前面的字符任意次数：,，多次
.*：匹配任意长度的任意字符
\?：匹配其前面的字符0次或者1次；
\+：匹配其前面的字符1次或者多次；
\{m\}：匹配其前面的字符m次
\{m,n\}：匹配其前面的字符至少m次，至多n次
\{m,\}：至少m次
位置锚定
^：托字符，行首锚定，用于模式的最左侧
$：行尾锚定，用于模式的最右侧
单词：非特殊字符组成的连续字符（字符串）都称为单词
\<或\b：词首锚定，用于单词模式的左侧
\>或\b：词尾锚定，用户单词模式的右侧
\<PATTERN\>：匹配完整单词
分组及引用
分组：
\(\)：将一个或多个字符捆绑在一起，当做一个整体进行处理
后向引用：引用前面的分组括号中的模式所匹配到的字符
分组括号中的模式匹配到的内容或被正则表达式引擎自动记录于内部的变量中：
\：模式从左侧起，第一个左括号及与之匹配的右括号之间模式匹配到的内容
\：模式从左侧起，第二个左括号及与之匹配的右括号之间模式匹配到的内容
以此类推
举例：
1.显示/etc/passwd文件中不以/bin/bash结尾的行
[root@localhost tmp]# grep -v "/bin/bash$" /etc/passwd
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
......
gdm:x::::/var/lib/gdm:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
2.找出/etc/passwd文件中的两位或三位数字
[root@localhost tmp]# grep "\<[[:digit:]]\{2,3\}\>" /etc/passwd
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
......
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
3.找出etc/grub2.cfg文件中，以至少一个空白字符开头，且后面非空白字符的行；
[root@localhost tmp]# grep "^[[:space:]]\+[^[:space:]]" /etc/grub2.cfg
load_env
set default="${next_entry}"
set next_entry=
save_env next_entry
set boot_once=true
set default="${saved_entry}"
menuentry_id_option="--id"
menuentry_id_option=""
set saved_entry="${prev_saved_entry}"
save_env saved_entry
set prev_saved_entry=
save_env prev_saved_entry
set boot_once=true
4.找出"netstat -tan"命令的结果中以LISTEN后跟0,1或多个空白结尾的行
[root@localhost tmp]# netstat -tan | grep "LISTEN[[:space:]]*$"
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 127.0.0.1: 0.0.0.0:* LISTEN
tcp 127.0.0.1: 0.0.0.0:* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
扩展正则表达式元字符：
字符匹配
. ：匹配任意单个字符；
[]：匹配指定范围内的任意单个字符；
特殊匹配：[:digit:] 匹配任意单个数字
[:lower:] 匹配任意单个小写字母
[:upper:] 匹配任意单个大写字母
[:alpha:] 匹配任意单个字母
[:alnum:] 匹配任意单个字母或数字
[:punct:] 匹配任意单个符号
[:space:] 匹配单个空格
[^]：匹配指定范围外的任意单个字符；
匹配次数
用在要指定其出现的次数的字符后面，用于限制其前面字符出现的次数，默认工作于贪婪模式。
*：匹配其前面的字符任意次数：,，多次
.*：匹配任意长度的任意字符
?：匹配其前面的字符0次或者1次；
+：匹配其前面的字符1次或者多次；
{m}：匹配其前面的字符m次
{m,n}：匹配其前面的字符至少m次，至多n次
{m,}：至少m次
位置锚定
^：托字符，行首锚定，用于模式的最左侧
$：行尾锚定，用于模式的最右侧
单词：非特殊字符组成的连续字符（字符串）都称为单词
\<或\b：词首锚定，用于单词模式的左侧
\>或\b：词尾锚定，用户单词模式的右侧
\<PATTERN\>：匹配完整单词
分组及引用
分组：
()：将一个或多个字符捆绑在一起，当做一个整体进行处理
后向引用：引用前面的分组括号中的模式所匹配到的字符
分组括号中的模式匹配到的内容或被正则表达式引擎自动记录于内部的变量中：
\：模式从左侧起，第一个左括号及与之匹配的右括号之间模式匹配到的内容
\：模式从左侧起，第二个左括号及与之匹配的右括号之间模式匹配到的内容
以此类推
或
a|b:a或b
C|cat：C或cat
(C|c)at：cat或Cat
小练习
1、列出当前系统上所有已经登录的用户的用户名，注意：同一个用户登录多次，则只显示一次
who | grep -o "^\<[[:alpha:]]*" | uniq
2、取出最后登录到当前系统的用户的相关信息
id `who | tail - | grep -o "^\<[[:alpha:]]*"`
3.取出当前系统上被用户当做其默认shell的最多的那个shell
cut -d: -f7 /etc/passwd | uniq -c | sort -n | tail - | cut -d' ' -f7
4.将/etc/passd中的第三个字段设置最大的后10个用户的信息全部给为大写保存至/tmp/maxuser.txt文件中
[root@localhost ~]# sort -t: -k3 -n /etc/passwd | tail - | tr 'a-z' 'A-Z' &> /tmp/maxuser.txt
5.取出当前主机的IP地址
ifconfig | grep -Eo "([1-9]|[1-9][1-9]|1[0-9][0-9]|2[0-5][0-4])\.([0-9]|[1-9][1-9]|1[0-9][0-9]|2[0-5][0-5])\.([0-9]|[1-9][1-9]|1[0-9][0-9]|2[0-5][0-5])\.([1-9]|[1-9][1-9]|1[0-9][0-9]|2[0-5][0-4])[[:space:]]" |grep -v "127.0.0.1" 或者
ifconfig | grep "[[:space:]*]\<inet\>" | cut -d' ' -f10 | grep -v "127.0.0.1"
6.列出/etc目录下所有已.conf结尾的文件的文件名，并将其名字转换为大写后保存至/tmp/etc.conf文件中
find /etc -name "*.conf" | egrep -o "[^/][^/]*$" | tr 'a-z' 'A-Z' > /tmp/etc.test
7.显示/var目录下一级子目录或文件的总数
ls /etc/ | wc -l
8.取出/etc/group第三个字段数值最小的10个组的名字
sort -t: -k3 -n /etc/group | head - | cut -d: -f1
9.将/etc/fstab和/etc/issue文件的内容合并为同一个内容后保存至/tmp/etc.test文件中
cat /etc/issue /etc/fstab | tee /tmp/etc.test &> /dev/null
10.显示/proc/meminfo文件中以大写或者小写S开头的行，用两种方式
[root@localhost home]# egrep "^[sS]" /proc/meminfo
[root@localhost home]# egrep -i "^s" /proc/meminfo
11.显示/etc/passwd文件中其默认shell为非/sbin/nologin的用户
[root@localhost home]# grep -v "/sbin/nologin" /etc/passwd
12.显示/etc/passwd文件中其默认shell为/bin/bash的用户
[root@localhost home]# grep "/bin/bash" /etc/passwd
13.找出/etc/passwd文件中的一位或两位数
[root@localhost /]# egrep "\<[[:digit:]]{1,2}\>" /etc/passwd
14.显示/boot/grub2/grup.cfg中至少一个空白字符开头的行
[root@localhost /]# egrep "^[[:space:]]+[^[:space:]]" /boot/grub2/grub.cfg
15.显示/etc/rc.d/rc.local文件中以#开头，后面跟至少一个空白字符，而后又至少一个非空白字符的行
[root@localhost /]# egrep "^#[[:space:]]+[^[:space:]]" /etc/rc.d/rc.local
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.
16.打出netstat -tan命令执行结果以'LISTEN'后跟空白字符结尾的行
[root@localhost /]# netstat -tan | egrep "LISTEN[[:space:]]+"
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 0.0.0.0: 0.0.0.0:* LISTEN
tcp 127.0.0.1: 0.0.0.0:* LISTEN
tcp 127.0.0.1: 0.0.0.0:* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
tcp6 ::: :::* LISTEN
17.添加用户bash,testbash,basher,nologin（此一个用户的shell为/sbin/nologin）,而后找出当前系统上其用户名和默认shell相同的用户的信息
[root@localhost /]# useradd bash
[root@localhost /]# useradd testbash
[root@localhost /]# useradd basher
[root@localhost /]# useradd -s /sbin/nologin nologin
[root@localhost /]# egrep "^(\<[a-z]+\>).*\1$" /etc/passwd
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
bash:x::::/home/bash:/bin/bash
nologin:x::::/home/nologin:/sbin/nologin
【Linux相识相知】文本处理工具之grep\egrep\fgrep及正则表达式的更多相关文章
- grep egrep fgrep命令
一.grep.egrep.fgrep命令 本文中主要介绍了linux系统下grep egrep fgrep命令和正则表达式的基本参数和使用格式.方法.(注释:文中fg代表例子,) 1.1.基本定义: ...
- grep, egrep, fgrep笔记
grep, egrep, fgrep grep: 根据模式搜索文本,并将符合模式的文本行显示出来.Pattern: 文本字符和正则表达式的元字符组合而成匹配条件 grep [options] PATT ...
- 文本处理工具（grep）
文本处理工具: Linux上文本处理三剑客: 文本过滤工具(模式:pattern)工具: 1.grep:支持基本正则表达式; 2.egrep: ...
- Linux正则与文本处理工具(10)
正则表达式 (Regular Expression, RE, 或称为常规表达式)是通过一些特殊字符的排列,用于『查找/替换/删除』一行或多行文字或字符串,简单的说,正则表达式就是用在字串的处理上面的一 ...
- 【linux相识相知】sed命令
在之前的博客中我们介绍了文本三剑客中grep,本次博客就另外一名剑客——sed做出详细的描述,sed真的是一款强大的工具.下面让我们来一起看一下吧! 概述和工作机制 SED的英文全称为Stream E ...
- Linux 之 awk文本分析工具
AWK是一种处理文本文件的语言,是一个强大的文本分析工具.Linux环境中自带. awk调用方法 命令行 awk [-F field-separator] 'commands' input-file( ...
- 文本处理三剑客之 grep/egrep
grep:文本过滤工具 支持BRE egrep: 支持ERE fgrep: 不支持正则 作用:根据用户指定的“模式”,对目标文本逐行进行匹配检查,打印匹配到的行 模式:由正则表达式字符及文本字符所编写 ...
- 【转载】grep,egrep,fgrep详解
[转载自]http://blog.csdn.net/homking/article/details/6000711 egrep 等价于 grep -E fgrep 等价于 grep -F grep - ...
- Linux 文本处理工具（grep sed awk ）
^test: 以test开头; test$: 以test结尾: ^$: 表示空行,不是空格: . :代表且只代表任意一个字符(其他功能:当前目录,加载文件): \ : 代表转义字符,表示特殊字符: * ...
随机推荐
- 死磕Java之聊聊ArrayList源码(基于JDK1.8)
工作快一年了,近期打算研究一下JDK的源码,也就因此有了死磕java系列 ArrayList 是一个数组队列,相当于动态数组.与Java中的数组相比,它的容量能动态增长.它继承于AbstractLis ...
- RadASM的测试工程！
RadASM已经安装完毕了,是否可以正常工作了呢?我们通过创建一个工程来测试一下,下面就是创建这个测试工程的过程: 1, 2, 3, 4, 5, 6, 7, 8, 9, 至此,我们通过RadASM的模 ...
- 题解 P1534 【不高兴的津津（升级版）】
题目链接 不算太难.就是题目有歧义. wa了好几次才发现.上一天要是小于8的话.结算是昨天一个负值在加上今天课时数.再减去8.233.... 而不是上一天小于8个小时.就清零了..大家要注意(ps:题 ...
- 洛谷P4557 [JSOI2018]战争（闵可夫斯基和+凸包）
题面 传送门 题解 看出这是个闵可夫斯基和了然而我当初因为见到这词汇是在\(shadowice\)巨巨的\(Ynoi\)题解里所以压根没敢学-- 首先您需要知道这个 首先如果有一个向量\(w\)使得\ ...
- 图层锁定vlisp函数高版本图元自动淡色显示
(defun c:tt(/ obj) (sk_layerLock (getvar "clayer") nil) (princ) ) ;;;name:sk_layerLock ;;; ...
- maven项目运行找不到类的错误
Maven项目 eclipse工具 错误: [INFO] -------------------------------------------------------------[ERROR] CO ...
- 两种unix网络编程线程池的设计方法
unp27章节中的27.12中,我们的子线程是通过操作共享任务缓冲区,得到task的,也就是通过线程间共享的clifd[]数组,这个数组其实就是我们的任务数组,得到其中的connfd资源. 我们对这个 ...
- 深入解析Close()和Dispose()的区别
很多人都认为Close()方法内部会调用Dispose()方法,所以并没有本质的区别!实际上这个看法不是很准确,对有 些类来说,的确Close()和Dispose()没有本质区别,但是对有些类来说并非 ...
- POJ 3258：River Hopscotch (最大化最小值）
[题意] 牛要到河对岸,在与河岸垂直的一条线上,河中有N块石头,给定河岸宽度L,以及每一块石头离牛所在河岸的距离, 现在去掉M块石头,要求去掉M块石头后,剩下的石头之间以及石头与河岸的最小距离的最大值 ...
- POJ - 3735 循环操作
构造n+1元组,m次方的矩阵代表循环操作 本题尚有质疑之处(清零操作的正确性还有单位矩阵的必要性),题解可能会改正 #include<iostream> #include<algor ...