Linux四剑客grep、find、sed、awk使用

‌介绍

Linux四剑客‌是指在Linux系统中非常常用的四个命令工具，它们分别是grep、find、sed和awk。这四个工具在Linux系统中具有非常强大的功能，可以方便快捷地对文本进行搜索、处理和查找。‌

grep命令

作用

grep命令主要用于过滤文件内容，在文件中找到你需要或者不要的内容，类似与一个漏斗_.

语法

grep [选项] [关键字] 文件

常用选项说明

这里只列出了实际工作中常用的选项，如果有其它的选项漏掉的，可以进行评论

• -i：不区分关键字的大小写，ignore case
• -n：显示文件的行号
• -v：取反，排除关键字
• -r：递归搜索指定目录下的所有文件，例如grep -r "pattern" /path/to/directory
• -c：计数，只返回匹配的行数，类似wc -l命令
• -e：同时搜索多个模式，匹配任意一个即可。例如grep -e "pattern1" -e "pattern2" file.txt
• -E：可以使用正则表达式，例如grep -E "pattern1|pattern2" file.txt
• -l：在多个文件中搜索时，只显示包含匹配模式的文件名，而不是文件内容。例如grep -l "pattern" *.txt
• -L：在多个文件中搜索时，只显示不包含匹配模式的文件名。例如grep -L "pattern" *.txt
• -C：显示匹配行前后的指定行数。例如grep -C 2 "pattern" file.txt
• -F：匹配包含固定字符串的行。例如grep -F "fixed" string file.txt
• -A：显示匹配行后的指定行数。如grep -A 2 "pattern" file.txt
• -B：显示匹配行前的指定行数。如grep -B 2 "pattern" file.txt

find命令

作用

find 是一个在 Linux 和 Unix 系统中非常强大的命令行工具，用于在文件系统中搜索文件和目录。它可以根据文件名、路径、大小、修改时间、权限等多种条件进行搜索

语法

find [搜索路径] [选项] [表达式]

• 搜索路径，指定从哪个目录开始搜索，如果不指定搜索深度，默认会在指定目录下递归搜索。如果不指定目录，默认从当前目录开始
• 选项：用于控制搜索行为，例如递归深度，搜索类型等
• 表达式：用于定义搜索条件，如文件名、大小、修改时间等

常用选项

• -name：根据文件名搜索

#搜索/etc目录下hosts文件
[root@master:~]# find /etc/ -name "hosts"
/etc/hosts

#搜索/etc目录下所有以conf结尾的文件
[root@master:~]# find /etc -name "*.conf"
/etc/nscd.conf
/etc/nsswitch.conf
...
/etc/modules-load.d/modules.conf
/etc/request-key.d/id_resolver.conf
/etc/kubernetes/scheduler.conf

• -type：指定文件类型
  • f：文件类型为普通文件
  • d：文件类型为目录
  • l：文件类型为符号链接

# 搜索/etc目录下所有的目录
[root@master:~]$ find /etc/ -type d

# 搜索/etc目录下所有的文件
[root@master:~]$ find /etc/ -type f

# 搜索/etc目录下所有的符号连接
[root@master:~]$ find /etc/ -type l

• -size：根据文件大小搜索
  • +n：文件大于n
  • -n：文件小于n
  • n：文件等于n
  • 单位：c(byte)、k(kb)、M(Mib)、G(Gib)

# 搜索/etc目录下大于10K的文件
[root@master:~]$ find /etc/ -size +10k
/etc/login.defs
/etc/X11/rgb.txt
/etc/ld.so.cache

• -mtime：根据文件修改时间搜索，单位天。
  • +n：超过 n 天。
  • -n：少于 n 天。
  • n：正好 n 天。

#查找etc目录下修改时间大于30天的文件
[root@master:~]$ find /etc/ -mtime +30

• -mmin：根据文件修改时间搜索，单位分钟
  • +m：超过 m 分钟
  • -m：少于 m 分钟
  • m：正好 m 分钟

#查找etc目录下修改时间大于30分钟的文件
[root@master:~]$ find /etc/ -mmin +30

• -perm：根据文件权限进行搜索

[root@master:~]$ find /etc/ -perm 755

• -user：根据文件拥有者进行搜索

# 搜索etc目录下，用户为root的文件
[root@master:~]$ find /etc/ -user root

• -group：根据文件所属组进行搜索

[root@master:~]$ find /etc/ -group root

• -maxdepth：限制搜索的最大深度，也就是指定递归搜索的深度
  
  1代表指定目录下，2代表指定目录下的下一层目录，依次递归下去

# 查找当前目录下以conf结尾的文件
[root@master:~]$ find /etc/ -maxdepth 1 -name "*.conf"

• -empty：查找空目录或空文件

# 查找空目录
[root@master:~]$ find /etc/ -type d -empty

# 查找空文件
[root@master:~]$ find /etc/ -type f -empty

• -delete：直接删除文件

# 查找到空文件直接删除
[root@master:~]$ find /var/ -type f -empty -delete

• -exec：对搜索到的文件执行命令

# 查找到空文件进行删除
[root@master:~]$ find /var/ -type f -empty -exec rm -f {} \

• -a：使用-a（逻辑与，and）或者默认的空格分隔符组合多个条件

[root@master:~]$ find /path/to/search -type f -size +10M -mtime +30

• -o：使用-o（逻辑或，or）组合多个条件

#搜索文件扩展名为txt或log的文件
[root@master:~]$ find /path/to/search \( -name "*.txt" -o -name "*.log" \)

sed命令

sed（Stream Editor）是一个流式文本编辑器，用于对文本进行快速的、非交互式的编辑。它能够对输入的文本进行各种操作，如替换、删除、插入、提取等，并将结果输出到标准输出（stdout）。

基本语法

sed [选项] '编辑命令' 文件名

• 选项：用于控制 sed 的行为，例如 -i 表示直接修改文件，-n 表示静默模式。
• 编辑命令：定义对文本的具体操作，通常放在单引号或双引号中。
• 文件名：指定要处理的文件。如果省略文件名，sed 会从标准输入读取数据。

sed常用选项：

• -n：默认情况下，sed会在所有的脚本执行完毕后，自动输出处理后的内容，而该选项会屏蔽自动输出，需要使用print命令来完成输出。一般结合p使用
• -i：此选项会直接修改源文件，要慎用
• -i.bak：先备份再修改文件内容，推荐使用
• -r：支持扩展正则

sed 打印行

示例一：打印出文件所有的内容

[root@master:~]# sed '' /etc/passwd
root:x:0:0:root:/root:/bin/bash
#...省略万字内容
devops:x:1000:1000::/home/devops:/bin/sh

示例二：打印出文件的第五行数据

[root@master:~]# sed -n '5p' /etc/passwd
sync:x:4:65534:sync:/bin:/bin/sync

示例三：打印出文件的第五行至第十行数据

[root@master:~]# sed -n '5,10p' /etc/passwd
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin

示例四：打印出文件的最后一行数据

[root@master:~]# sed -n '$p' /etc/passwd
devops:x:1000:1000::/home/devops:/bin/sh

sed 过滤内容

示例一：过滤包含root的行

[root@master:~]# sed -n '/root/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash

示例二：过滤包含root和devops的行

[root@master:~]# sed -nr '/root|devops/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
devops:x:1000:1000::/home/devops:/bin/sh

sed 替换文件内容

语法：

sed [选项] 's#源内容#要修改的内容#g' 文件名
选项说明：
-i：替换文件
-i.bak：先备份文件为源文件名.bak

示例：

# 先模拟数据
[root@master:~]# cat>1.txt<<EOF
> huangsir
> huangsir
> huangsir666
> EOF

# 不加-i选项，发现并没有替换文件内容
[[root@master:~]]# sed s#huangsir#root#g 1.txt
root
root
root666
[root@master:~]# cat 1.txt
huangsir
huangsir
huangsir666

# 添加-i.bak进行替换
root@master:~# sed -i.bak s#huangsir#root#g 1.txt
root@master:~# ll 1.txt 1.txt.bak
-rw-r--r-- 1 root root 18 Apr 17 16:28 1.txt
-rw-r--r-- 1 root root 30 Apr 17 16:26 1.txt.bak
root@master:~# cat 1.txt
root
root
root666
root@master:~# cat 1.txt.bak
huangsir
huangsir
huangsir666

# 直接修改，不备份
root@master:~# sed -i s#huangsir#root#g 1.txt.bak
root@master:~# cat 1.txt.bak
root
root
root666

示例：分组进行替换

root@master:~# echo 123456 | sed -r 's#(12)(34)(56)#\1\2\3#g'
123456
root@master:~# echo 123456 | sed -r 's#(12)(34)(56)#\3\2\1#g'
563412

sed 删除内容

编辑命令中添加d可以删除文件内容

示例：删除某一行的数据

# 删除第一行的数据
sed -i '1d' 1.txt

# 删除最后一行的数据
sed -i '$d' 1.txt

# 删除前缀为1的行
sed -i '/^1/d' 1.txt

sed 增加文件内容

指令：

• c:replace:clean 清空指定行，然后写入内容
• a：apennd,在指定那行下面增加一行
• i：insert，在指定那行上面增加一行

示例：在文件第一行下增加一行数据

# 在第一行后追加一行haha数据
sed -i '1a haha' 1.txt

awk命令

awk能够对文本文件进行复杂的分析、处理和格式化操作。与 sed 不同，awk 更适合处理结构化的文本数据，例如带有分隔符的表格数据。

作用：取行、取列、统计与计算

语法

awk [选项] '模式 {动作}' 文件名

常用选项

• -F：指定字段分隔符（默认为空白字符，如空格或制表符）。
• -f：从文件中读取 awk 脚本。
• -v：定义变量的初始值

使用awk取行

awk中内置变量NR表示行

示例：

# 取出第一行的数据
root@master:~# awk 'NR==1' /etc/passwd
root:x:0:0:root:/root:/bin/bash

# 取出第三行到第十行的数据
root@master:~# awk 'NR>=3 && NR<=10' /etc/passwd
bin:x:2:2:bin:/bin:/usr/sbin/nologin
sys:x:3:3:sys:/dev:/usr/sbin/nologin
sync:x:4:65534:sync:/bin:/bin/sync
games:x:5:60:games:/usr/games:/usr/sbin/nologin
man:x:6:12:man:/var/cache/man:/usr/sbin/nologin
lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin
mail:x:8:8:mail:/var/mail:/usr/sbin/nologin
news:x:9:9:news:/var/spool/news:/usr/sbin/nologin

# 取出包含bash的行
root@master:~# awk '/bash/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

# 取出包含root和devops的行
root@master:~# awk '/root|devops/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
devops:x:1000:1000::/home/devops:/bin/sh

# 取出文件中指定时间段内的日志
root@master:~# awk '/11:00:00/,/11:10:00/' /acces.log

awk取列

awk中内置变量NF表示列

示例：

# 取出/etc/hosts文件的第三列、最后一列
root@master:~# awk '{print $3,$NF}' /etc/hosts
localhost
following                hosts
ip6-localhost            ip6-loopback
ip6-allnodes
ip6-allrouters
iv-ydpkgu0jcwwh2yox8410  iv-ydpkgu0jcwwh2yox8410

# 对齐
root@master:~# awk '{print $3,$NF}' /etc/hosts | column -t
localhost
following                hosts
ip6-localhost            ip6-loopback
ip6-allnodes
ip6-allrouters
iv-ydpkgu0jcwwh2yox8410  iv-ydpkgu0jcwwh2yox8410

awk取行取列

示例：取出ip a s eth0的IP地址

root@master:~# ip a s eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:16:3e:16:5b:ef brd ff:ff:ff:ff:ff:ff
    inet 10.3.0.86/20 brd 10.3.15.255 scope global dynamic eth0
       valid_lft 310239265sec preferred_lft 310239265sec
    inet6 fe80::216:3eff:fe16:5bef/64 scope link
       valid_lft forever preferred_lft forever

root@master:~# ip a s eth0 | awk 'NR==3' | awk -F 'inet |/20' '{print $2}'
10.3.0.86

示例：统计free结果中内存空闲率

root@master:~# free | awk 'NR==2{print $NF/$2}'
0.82089
root@master:~# free | awk 'NR==2{print $NF/$2*100"%"}'
82.0729%

awk计算

大多数情况都可以使用awk进行算数运算，awk可以进行整数、小数的运算

基础用法示例：

root@master:~$ awk 'BEGIN{print 1/3}'
0.333333
root@master:~$ awk 'BEGIN{print 2*3}'
6
root@master:~$ awk 'BEGIN{print 3+3}'
6
root@master:~$ awk 'BEGIN{print 4-3}'
1

携带变量示例

awk -v选项用于创建或修改awk中的变量，-v是shell脚本与awk的桥梁

在awk中各种变量直接使用即可，不要加上$，如果加上了会被awk认为是取列

root@master:~$ num1=2
root@master:~$ num2=5
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1/a2}'
0.4
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1*a2}'
10
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1+a2}'
7
root@master:~$ awk -va1=${num1} -va2=${num2} 'BEGIN{print a1-a2}'
-3