文本处理三剑客之 sed

sed：文本流编辑器

　　主要是对文件的快速增删改查，查询功能中最常用的是过滤，取行

　　sed [选项] [sed内置命令字符] [输入文件]

　　

　　Options：

　　　　-n：取消默认的sed输出，常与sed内置命令p连用

sed -n '/要过滤的内容/或者行号p'

　　　　-e：直接在命令行界面进行sed动作编辑，多点编辑
　　　　-r：使用扩展的正则表达式
　　　　-i：直接修改读取的文件内容，而不是由屏幕输出。若是不加此参数，就只是修改内存中的数据，不影响磁盘中的数据

　　script：

　　　　地址定界：
　　　　　　1、不给地址，对全文进行处理
　　　　　　2、单地址，
　　　　　　#：指定的行
　　　　　　/pattern/：被此处模式所能够匹配到的每一行

　　　　地址范围：
　　　　　　#,#：从#到#之间的行，包括##

　　　　　　#,+#：从#行到#+#行

　　　　　　/pat1/,/pat2/：匹配第一次被模式一和第一次被模式二匹配的行之间的行，贪婪模式！！！
　　　　　　#,/par1/：第#行到第一次被part1匹配的行

　　　　编辑命令：
　　　　　　d：删除模式空间匹配的行

sed '3d' file.txt # 数字表示行号
sed '3,4d' file.txt # 3-4行删除

　　　　　　p：显示模式空间中的内容

sed -n '2p' file.txt　　# 匹配第二行内容，如果不加-n，会将匹配的内容输出到屏幕两次
sed -n '2p;4p' person.txt  2和4行
sed -n '/xiaolizi1/p;/xiaolizi2/p' person.txt 

　　　　　　a[\]text：在指定行的后面追加文本，可使用\n实现多行追加

# 在第二行后追加内容
   sed '2a 要追加的内容' file.txt
# 追加多行内容
　　sed '2a 要追加的内容\n要追加的内容' file.txt
   sed  '$a 106,xiaolizi1\n107,xiaolizi2' person.txt  # 在最后一行追加两行内容  $表示结尾

　　　　　　i[\]text：在指定行的前面追加文本
　　　　　　c[\]text：替换行为单行或多行文本
　　　　　　w /path/somefile：保存模式空间匹配的行到指定文件
　　　　　　r /path/somefile：读取指定的文件的文本至模式空间匹配到的行的行后
　　　　　　=：为模式空间中的行打印行号
　　　　　　！： 对模式空间匹配的行取反处理

　　　　查找替换：
　　　　　　s///：支持使用其他分隔符：s@@@，s### ...

sed 's#替换前的内容#替换后的内容#g' file.txt  # g表示整个文本内容，也就是全局替换，如果不添加，只会替换第一个匹配到的内容

# 关于反向引用
　　

[root@oldgirl ~]# #echo 123456 ==》 <123456>  # 转换成此类格式的 \1表示引用前面第一个括号内的内容
[root@oldgirl ~]# echo 123456|sed -r 's#(.*)#<\1>#g'
<123456>
[root@oldgirl ~]# #echo 123456 ==》<1><2><3><4><5><6>
[root@oldgirl ~]# echo 123456|sed -r 's#([1-6])#<\1>#g'
<1><2><3><4><5><6>
[root@oldgirl ~]# echo 123456|sed -r 's#(.)#<\1>#g'
<1><2><3><4><5><6>
[root@oldgirl ~]# echo 123456|sed -r 's#.#<&>#g'
<1><2><3><4><5><6>
[root@oldgirl ~]# echo 123456|sed -r 's#.*#<&>#g'
<123456>

# 举个栗子

# 需求将oldboy*.jpg图片变为avi扩展名文件
# 第一个里程：找出要替换的文件信息
[root@oldgirl ~]# ls oldboy*.jpg
oldboy01.jpg oldboy03.jpg oldboy05.jpg oldboy07.jpg oldboy09.jpg
oldboy02.jpg oldboy04.jpg oldboy06.jpg oldboy08.jpg oldboy10.jpg
[root@oldgirl ~]# ls oldboy*.jpg|sed 's#.*#&#g'
oldboy01.jpg
oldboy02.jpg
oldboy03.jpg
oldboy04.jpg
oldboy05.jpg
oldboy06.jpg
oldboy07.jpg
oldboy08.jpg
oldboy09.jpg
oldboy10.jpg
#  第二个里程：拼凑批量修改文件的命令
[root@oldgirl ~]# ls oldboy*.jpg|sed 's#.*.jpg#&#g'
oldboy01.jpg
oldboy02.jpg
oldboy03.jpg
oldboy04.jpg
oldboy05.jpg
oldboy06.jpg
oldboy07.jpg
oldboy08.jpg
oldboy09.jpg
oldboy10.jpg

[root@oldgirl ~]# ls oldboy*.jpg|sed -r 's#(.*)jpg#\1#g'
oldboy01.
oldboy02.
oldboy03.
oldboy04.
oldboy05.
oldboy06.
oldboy07.
oldboy08.
oldboy09.
oldboy10.
[root@oldgirl ~]# ls oldboy*.jpg|sed -r 's#(.*)jpg#mv \1jpg#g'
mv oldboy01.jpg
mv oldboy02.jpg
mv oldboy03.jpg
mv oldboy04.jpg
mv oldboy05.jpg
mv oldboy06.jpg
mv oldboy07.jpg
mv oldboy08.jpg
mv oldboy09.jpg
mv oldboy10.jpg
[root@oldgirl ~]# ls oldboy*.jpg|sed -r 's#(.*)jpg#mv \1jpg \1avi#g'
mv oldboy01.jpg oldboy01.avi
mv oldboy02.jpg oldboy02.avi
mv oldboy03.jpg oldboy03.avi
mv oldboy04.jpg oldboy04.avi
mv oldboy05.jpg oldboy05.avi
mv oldboy06.jpg oldboy06.avi
mv oldboy07.jpg oldboy07.avi
mv oldboy08.jpg oldboy08.avi
mv oldboy09.jpg oldboy09.avi
mv oldboy10.jpg oldboy10.avi

# 第三里程碑：将命令输出的信息，进行执行
[root@oldgirl ~]# ls oldboy*.jpg|sed -r 's#(.*)jpg#mv \1jpg \1avi#g'|bash
[root@oldgirl ~]# ls oldboy*.avi
oldboy01.avi oldboy03.avi oldboy05.avi oldboy07.avi oldboy09.avi
oldboy02.avi oldboy04.avi oldboy06.avi oldboy08.avi oldboy10.avi

　　

# 以上只是一个需求，为了演示反向引用，如果批量重命名的话，使用rename即可

　　　　替换标记：

　　　　　　g：行内全局替换
　　　　　　p：显示替换成功的行
　　　　　　w file：将替换成功的行保存至文件中

+ g：[address[,address]]g 将hold space中的内容拷贝到pattern space中，原来pattern space里的内容清除

+ G：[address[,address]]G 将hold space中的内容append到pattern space\n后

+ h：[address[,address]]h 将pattern space中的内容拷贝到hold space中，原来的hold space里的内容被清除

+ H：[address[,address]]H 将pattern space中的内容append到hold space\n后

+ d：[address[,address]]d 删除pattern中的所有行，并读入下一新行到pattern中

+ D：[address[,address]]D 删除multiline pattern中的第一行，不读入下一行

PS：不论是使用G、g还是H、h，它们都是将hold space里面的内容“copy”到patt

h: 把模式空间中的内容覆盖至保持空间中
H：把模式空间中的内容追加至保持空间中
g: 从保持空间取出数据覆盖至模式空间
G：从保持空间取出内容追加至模式空间
x: 把模式空间中的内容与保持空间中的内容进行互换
n: 读取匹配到的行的下一行覆盖至模式空间
N：读取匹配到的行的下一行追加至模式空间
d: 删除模式空间中的行
D：删除当前模式空间开端至\n的内容（不再传至标准输 出），放弃之后的命令，但是对剩余模式空间重新执行sed