文本处理命令（sort+uniq+cut+tr+wc）+三剑客之sed

目录

• 文本处理命令+三剑客之sed
  • 一、文本处理命令
    • 1、排序命令 sort
    • 2、检查/删除命令 uniq
    • 3、 cut 显示特定部分命令
    • 4、 替换或删除命令 tr
    • 5、统计 计算数字命令 wc
  • 二、linux三剑客之sed
    • 1、sed的格式
    • 2、参数
    • 3、定位（# 四个之中最重要）
    • 4、sed的编辑模式（# 重要程度次之)
  • 三、案例练习

文本处理命令+三剑客之sed

一、文本处理命令

1、排序命令 sort

1、排序命令 sort
	用于将文件内容加以排序，默认以'''每一行第一个字符'''来判定顺序
	举例：  cat a.txt | sort
		PS：空行会排在第一行，即最前面。

	创建一个num.txt，里面添加各种数字做举例使用。
	无参数：# 依照每一行第一个字符来判定顺序
    -n # 依照数值的大小排序				[root@linux ~]# cat num.txt | sort -n
    -r # 以相反的顺序来排序				[root@linux ~]# cat num.txt | sort -r
    -k # 以某列字符串进行排序			    [root@linux ~]# cat num.txt | sort -nk2
    	文本内必须有多列内容（并非以第二个字符为第二列，而是对齐的第二列字符串）
    -t # 指定分割符，默认是以空格为分隔符	[root@linux ~]# cat num.txt | sort -nr -k2 -t ' '

	cat 3.txt | sort -n -r -k3 -t '|'
知识储备：1,% s/ /|/g  # 将空格替换为|管道符（在vim编辑里使用）
	解释：
		1，% ：意思是 1到所有 的数据

2、检查/删除命令 uniq

	用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用

    -c # 在每列旁边显示该行重复出现的次数。
    		某一行出现2次，这一行前面的号码就是2		[root@linux ~]# cat num.txt | uniq -c
    -d # 仅显示重复出现的行列。
    		（c参数：前面出现次数）				[root@linux ~]# cat num.txt | uniq -dc
    		结合 sort 使用（排序）：				  [root@linux ~]# cat num.txt | sort -n | uniq -dc
    -u # 仅显示出一次的行列。
    		（c参数：空行也会显示1）				[root@linux ~]# cat num.txt | uniq -cu

3、 cut 显示特定部分命令

    cut命令用来显示行中的指定部分，删除文件中指定字段

    -d # 指定字段的分隔符，默认的字段分隔符为"TAB"；
    	cut -d后面指定一个分隔符  >>>  [root@linux ~]# cat num.txt | cut -d '|' -f2
    -f # 显示指定字段的内容；
    	-f2 显示以分隔符'|'分开的第二列数据

	可以结合 sort 使用：
				[root@linux ~]# cat num.txt | sort -nrk1 | cut -d '|' -f2
	结合 uniq 使用：
		uniq -d	 [root@linux ~]# cat num.txt | sort -nrk1 | uniq -cd | cut -d '|' -f2
		uniq -u	 [root@linux ~]# cat num.txt | sort -nrk1 | uniq -cu | cut -d '|' -f2
		被分割后，可能会不显示 -c 参数的重复行数

sort命令和cut命令连用：

4、 替换或删除命令 tr

		不添加参数替换（存在问题）：
			将前面的数据 修改为 后面的数据：[root@linux ~]# cat num.txt | tr 123123 696969
			替换原理：一个字符一个字符的替换，即1换成6，再2换成9，再3换成6...以此类推至结束。
    -d # 删除字符
		[root@linux ~]# cat num.txt | tr -d '76'
	解释：把这个文本中，每一行带有的7和6都删除，非7非6的其他数据不进行操作。

5、统计 计算数字命令 wc

    -c # 统计文件的Bytes数；						[root@linux ~]# cat ceshi.txt | wc -c
    -l # 统计文件的行数；							[root@linux ~]# cat ceshi.txt | wc -l
    -w # 统计文件中单词的个数，默认以空白字符做为分隔符	[root@linux ~]# cat ceshi.txt | wc -w
'''PS：默认以空白字符做为分隔符'''
    注：在Linux系统中，一段连续的数字或字母组合为一个词。
    	举例：123 456>>> 数字123与数字456之间有一个空格' '将其分开，所以是两个单词。
    	举例：123!456>>> 数字123与数字456之间有一个叹号'!'，只有空格分割才有效，所以是一个单词。

二、linux三剑客之sed

sed是linux中，流媒体编辑器。

1、sed的格式

sed [参数] '处理规则' [操作对象]

	grep ： 过滤文本
	sed  :  修改文本
	awk  :  处理文本

2、参数

	-e ： 允许多项编辑
			分别删除第3行和第4行				[root@linux ~]# sed -e '3d' -e '4d' num.txt
	-n :  取消默认输出
		（就是我只想打印第一行，其他的不打印，加命令-n，就只显示第一行内容）
		[root@linux ~]# sed -n '5p' num.txt

	-i :  就地编辑
	'''（只有此命令是编辑之后就生效了，因为直接修改了源文件）'''    [root@linux ~]# sed -i  '5p' num.txt

	-r :  支持拓展正则
		（就是临时可以使用正则表达式的规则，在两个/之间。）		[root@linux ~]# sed -r '/123/d' num.txt

	-f :  指定sed匹配规则脚本文件
		（将正则写在另一个文件里 1.txt，进行调用）		[root@linux ~]# sed -f 1.txt num.txt

3、定位（# 四个之中最重要）

	1、数字定位法
		指定行号。
		sed '3d' 4.txt 			>>> 指删除第3行内容	[root@linux ~]# sed '3d' 4.txt
		sed '2,3d' 4.txt 		>>> 指删除第2到第3行内容		[root@linux ~]# sed '2,3d' 4.txt

	2、正则定位法
		指定正则定位。
		sed '/^g/d' 2.txt		>>> 指将以g开头的本行内容都删除
									举例：[root@linux ~]# sed '/123/d' num.txt
	3、数字和正则定位法
		sed '3,/^g/d' 2.txt		>>> 从第3行到以g开头的内容删除
									举例：[root@linux ~]# sed '1,/^45/d' num.txt
									（如果下面还有以 45开头的，不进行删除）
	4、正则正则定位法
		sed '/^g/,/^j/d' 2.txt   >>> 以g开头的行 到以j开头的行删除
									举例：[root@linux ~]# sed '/^23/,/^90/d' num.txt

4、sed的编辑模式（# 重要程度次之)

* 所有内容都是在正则中进行，即//之中进行。
	d ：删除
	p ：打印
		'''如果选第5行打印，则在第5行基础上再复制1行，如果加命令 -n后，只显示打印的第5行，其他不显示。
	a : 在当前行后添加一行或多行
		sed '2axxx' 4.txt   	 >>> 在第2行通过a命令模式将内容 xxx添加到num.txt中
								举例：[root@linux ~]# sed '2aQQQQQQ' num.txt
	c ：用新文本修改（替换）当前行
		sed '2cxxx' 4.txt		 >>> 在第2行修改文本整体修改为，或者替换为xxx，无论这一行有多少内容。
								举例：[root@linux ~]# sed '2cQQQQQQ' num.txt
	i : 在当前行之前，插入文本（#单独使用时）
		sed '2ixxx' 4.txt		>>> 在第2行之前插入一行，内容为xxx
								举例：[root@linux ~]# sed '2iQQQQQQ' num.txt
	r : 在文件中读内容
		sed '2r r.txt' 2.txt 	>>> 将文件r.txt中的内容 读到第2行的下一行
								举例：[root@linux ~]# sed '2r 1.txt' num.txt
	w : 将指定行写入文件
		sed '2w 1.txt' 2.txt 	>>> 将 第2行的内容 写入到1.txt中，并且会覆盖1.txt中的内容
								举例：[root@linux ~]# sed '2w 1.txt' num.txt
	y : 将字符转换成另一个字符
		sed '2y/fa/FA/' 2.txt 	>>> 将第2行的f和a，依次各自替换成F和A。（这里是字符，不是字符串）
							 	举例：[root@linux ~]# sed '2y/fa/FA/' 2.txt
	s : 将字符串转换成另一个字符串（每一行只替换一次） s 命令需放在前面
		sed 's/11/22/' 6.txt 	>>> 将所有含有的11，替换成且只替换一次成22
								举例：[root@linux ~]# sed 's/123/333/' num.txt
	g : 全部执行   （g是没有替换功能的，只是将前面的s功能应用到整行里面去了）
		sed 's/11/22/g' 6.txt 	>>> 将所有含有的11，都替换成22
								举例：[root@linux ~]# sed 's/123/333/g' num.txt

	i : 忽略大小写（跟 s 模式一起使用时）
    							[root@linux ~]# sed 's/f/abc/gi' num.txt
	& ：代表前面匹配到的内容

三、案例练习

1、将nginx.conf中的注释行全部去掉
	[root@localhost ~]# sed '/^ *#/d' /etc/nginx/nginx.conf
	'''将以空格和其他内容开头，再加上#井号键的内容删除

2、将nginx.conf中每一行之前增加注释
	[root@localhost ~]# sed 's/.*/# &/g' /etc/nginx/nginx.conf
'''&符号，表示前面匹配到的内容，即（.*），相当于一个变量了，& = .* '''

3、要求一键修改本机的ip
	192.168.15.100 ---> 192.168.15.101
	172.16.1.100   ---> 172.16.1.101
	sed -i 's#.100#.101#g' /etc/sysconfig/network-scripts/ifcfg-eth[01]
	引号''内的# 警号 跟/斜杠作用一样，起到隔离作用
	sed -i 's/.100/.101/g' /etc/sysconfig/network-scripts/ifcfg-eth[01]
	sed -i -e 's/192.168.15.100/192.168.15.101/' -e 's/172.16.1.100/172.16.1.101/' /etc/sysconfig/network-scripts/ifcfg-eth[01]

4、将/etc/passwd中的root修改成ROOT
	sed -i 's#root#ROOT#g' /etc/passwd
也可以将其写为：
	sed -i 's/root/ROOT/g' /etc/passwd