【linux系统】命令学习（五）linux三剑客 grep \ awk \ sed

grep----基于正则表达式查找满足条件的行

1、内容检索

　　获取行 grep pattern file

　　获取内容 grep -o pattern file

　　获取上下文grep -A -B -C pattern file

　　grep a file   查找包含a的行

　　grep  -o "1$" file 获取包含1的行，且打印1

　　grep -o " [0-9]*1$ file 获取空格开头+多个数字+1结尾的字符内容

　　grep -B1 "2" file 取值除了包含当前行，还会取值当前行前一行的数据；

　　grep -E 选项可以用来扩展选项为正则表达式

2、文件检索

　　递归搜索 grep pattern -r dir/

　　展示匹配文件名 grep -H 111 dir/1

　　只展示匹配文件名 grep -1 111 /tmp/1

　　grep 111 -r 目录   查询目录下文件名为111的文件

3、范围约束

　　忽略带小写 grep -i pattern file

　　不显示匹配的行 grep -v pattern file

　　使用扩展正则表达式 grep -E pattern file

　　文件范围和目录范围约束 grep 111 -r /tmp/demo/ --include "11*"

4、进程检索

　　进程过滤场景比较特殊，需要注意

　　grep 本身会开启新进程，所以需要单独过滤掉grep进程

　　ps -ef | grep ssh

　　ps -ef | grep ssh |grep -v grep

awk----根据定位到的数据行处理其中的分段

1、基本语法

　　是linux下的一个命令，语言解析引擎；解析命令，直接进行执行；

　　具备完整的编程特性，比如执行命令，网络请求；

　　精通awk，是一个linux工作者的必备技能

　　语法awk 'pattern{action}'   匹配表达式、行为表达式  action 不写 默认为print

2、上下文变量

　　开始BEGIN 结束END -----初始化、汇总

　　行数NR -----

　　字段与字段数$1$2...$NFNF

　　整行$0

　　字段分隔符FS

　　输出数据的字段分隔符OFS

　　记录分隔符RS

　　输出字段的行分隔符ORS

3、字段变量用法

　　-F 参数指定字段分隔符，可以用|指定多个-多分隔符-F '<|>'

　　BEGIN{FS="_"}也可以表示分隔符

　　$0代表当前的记录

　　$1代表第一个字段

　　$N代表第N个字段

　　$NF代表最后一个字段

　　$(NF-1) 代表倒数第二个字段

4、pattern表达式

　　正则匹配

　　　　$1~/pattern/      ----字段匹配一个表达式

　　　　/pattern/　　　　----整行匹配

　　比较表达式

　　　　$2>2 $1 == "b"

　　

　　awk '$1~/2/'   打印第一列中有2的行

5、正则匹配表达式案例

　　开始和结束 awk 'BEGIN{}END{}'

　　正则匹配

　　　　整行匹配 awk '/Running/'

　　　　字段匹配 awk '$2~/xxx/'

　　行数表达式

　　　　取第一行 awk 'NR==2'

　　　　去掉第一行 awk 'NR>1'

　　区间选择

　　　　awk '/aa/,/bb/'

　　　　awk '/1/,NR==2'

6、action行为表达式{action}

　　打印 {print $0}{print $2}

　　赋值 {$1='abc'}

　　处理函数

　　原始内容$0

　　更新后内容{$1=$1;print $0}

7、单行转多行

　　

　　print 默认是换行符输出的

8、多行转为单行

　　

　　

9、计算平均数

　　设置变量total并初始化为0，以逗号为分隔符【字段分隔】，求第二列的总和，并输出总和除以行数

　　

10、字典结构array【数组】

　　array 是稀疏矩阵，类似python的词典类型

　　统计多家机构的营业额

　　统计多级机头的营业额平均值

　　定义一个字典data，以第一列为为key，第三列为value进行累加，然后循环字典，打印key和value

　　

　　定义两个字典 data 统计以第一列的key，第三列的总和 count 第一列的key 统计key出现的次数；在求对应的平均数

　　

sed 定位并修改数据；注意：修改的不是源文件，只是修改了打印结果

1、基本语法

　　语法结构sed[addr]X[options]  ----定位+表达式

　　-e 表达式

　　sed -n '2p' 打印第二行

　　sed 's#hello#word#' 修改

　　-i 直接修改源文件

　　-E 扩展表达式

　　-debug调试

2、正则表达式

　　行数与行数范围  20 30,35

　　正则匹配  /pattern/

　　区间匹配 //,//

　　打印第二行数据

　　

　　打印第1行到第4行数据

　　

　　匹配有a的行

　　

3、action表达式

　　p打印，通常结合-n参数 sed -n '2p' ----使用频率较高

　　s查找替换：s/regexp/replacement/[flags] -----使用频率较高

　　d删除

　　a追加

　　c改变

　　i插入内容到匹配行之前

　　e执行命令

　　分组匹配与字段提取：sed 's#([0-9])|([a-z])#\1 \2 #'

4、行数操作

　　打印特定行 sed -n 2p

　　删除最后一行 sed '$d'

　　删除1到3行

　　

5、S表达式

　　S表示替换

　　S后面的追加字符可以为任意字符

　　g表示全局匹配

　　

　　& 表示匹配内容

　　 ：号前面加123

　　/符号可以被任意代替

　　把d替换为replaced

　　

　　以3为结尾的，替换成100

　　

6、反向引用

　　使用（）对数据分组

　　使用\1\2反向引用分组

　　

　　在abd前面增加123 　　　　

　　

　　在abd后面增加123

　　

　　将abd后面替换为123