sed详细分析

【一、简单描述】

sed命令类似命令行的文本编辑器，以行为单位（见注1）。除非带命令i(in-place)否则源文件内容并不会被更新。

 

【二、使用】

【2.1、使用方式】

存在两种使用方式:

1、sed [options] 'command' file[files]

2、sed [options] -f 脚本文件 file[files]

 

【2.2、常用选项(options)】

。

-e(script 多次编辑):直接在指令模式上进行sed动作编辑

-f(file):将要使用的sed动作写入到一个文件内,-f filename将执行filename内的sed动作

-i(in--place):对[file]的处理直接写进文件

-r(regexp-extern)：使用扩展性正则表达式

具体使用见常用命令说明。

 

【2.3、常用命令(command)】

常用命令及范例见下：

命令	用法、意义和范例
s(swap)	用法：[指定地址]s/匹配字符/替换字符/替换标识(g.) 意义：替换匹配的内容 范例：替换所有的good为GOOD sed -n 's/good/GOOD/g'p test.txt (关于最后的替换标示(g)见后面说明，使用的测试文档test.txt见注3)
d(delete)	用法：[指定地址]d 意义：删除指定地址的行 范例：删除1-2行 sed '1,2d' test.txt (没加-n原因：被处理的两行被删除，所以加-n不会有输出，见注2)
i\(insert)	用法：[指定地址]i\添加内容 意义：在指定定制前方插入文本行 范例：在第一行和第二行前面添加start sed '1,2i\star' test.txt (没加n的原因不在赘述)
a\(append)	用法：[指定地址]i\添加内容 意义：在指定地址的后方插入文本行 范例：在第一行后面添加end sed '1a\end' test.txt
c\(chose)	用法：[指定地址]c\替换的内容 意义：将指定地址行替换成相应的文本 范例：将第一行替换成start sed '1c\start' test.txt
p(print)	用法：[指定地址]p 意义：在屏幕上输出指定地址内容 范例：打印前两行 sed -n '1,2'p test.txt
=	用法：[指定地址]= 意义：在屏幕上输出当前行号 范例：在每行前面一行打印行号 sed '1,$'= test.txt
l(字母l,line)	用法：[指定地址]l 意义：打印指定行，同时显示控制字符 范例：打印第一行，且显示控制字符(见后面说明) sed -n '1'l test.txt
y	用法：[指定地址]y/匹配字符(可以写成字符串形式)/替换字符/ 意义：替换指定地址的匹配字符 范例：替换全局(整个文本)g为G,o为O,d为D,!为? sed 'y/god!/GOD?/' test.txt
n(next)	用法：[指定地址]n 意义：读取指定地址的内容到缓存空间 范例：
r(read)	用法：[指定地址] r 指定文件 意义：读取指定文件的到指定地址之后 范例：读取test1.txt的内容到第二行后面 sed '2r test1.txt' test.txt
w(write)	用法：[指定地址]w 指定文件 意义：将指定地址的内容写入到指定文件（以write形式） 范例：将test.txt中的第二行写入到test1.txt sed '2w test1.txt' test.txt
q(quit)	用法：[指定地址]q 意义：读取到指定的行之后退出 范例：打印前两行(注意：没有加n表明处理到第二行就退出) sed '2'q test.txt

 

关于替换标示的说明:

替换标示	意义和范例
n	意义：（范围1-512），仅替换第n个被模式匹配的内容(在输入file未成功) 范例：替换第二次的空格为'@' echo "1 2 3 4" | sed 's/ /;/2'
g	意义：全局替换 范围：替换全部的good为GOOD sed 's/good/GOOD/g' test.txt

 

【2.4、元字符集】(仅列出同标准的正则表达式的差异项)

同标准正则表达式差异的元字符集：

符号	意义和范例
\(..\) 注：即 (..)添加\为转义	意义：保存指定匹配的字符串，使用数字\n(n表示位置)可去除 范例： 单个参数的情况 保存匹配字符good的前面两个字符go,全局替换匹配的字符串为go(\1:指代go)--istest sed 's/\(go\)od/\1--istest/g' test.txt 两个参数 分别保存匹配字符go??dd的go和od,去掉中间的两个??将\1\2连接在一起成为good sed 's/\(go\)??\(od\)/\1\2/g' test.txt 多个的则不在赘述
&	意义：指代匹配字符串 范例：替换good为==good== sed 's/good/==&==/g' test.txt
\<	用法：\<[指定字符串] 意义：匹配字符串的开始 范例：替换以ni为开头的字符串为==ni==..(该行剩余字符串) sed 's/\<ni/==&==/g' test.txt
\>	用法：[指定字符串]\> 意义：匹配字符串的结束 范例：替换以ni为结尾的字符串为==ni==..(该行剩余字符串) sed -n 's/ni\>/==&==/g'p test.txt

 

【2.5、常规使用方式】

【2.5.1、分隔符说明】

上面的事例中我们都采用了'\'来充当分隔符，其实分割符可以按照中间的习惯设定，当然出现同分隔符一致的匹配字符的时候，

你需要添加转义字符'/'

例如：

1、使用其他分隔符：

替换当前路径的/home为空格：pwd | sed 's:/home::g'

2、遇见匹配的字符串同分隔符一样时：

替换当前路径的/home为空格：pwd | sed 's/\/home//g'

 

【2.5.2、使用组合表达式】

1、对每一行执行多个操作：采用-e (expression 见man)

范例：

如果有行有以he开头的打印，全局替换hello为HELLO，全局替换!为??

sed -ne '/\<he/'p -ne 's/hello/HELLO/g'p -ne 's/!/??/g'p test.txt

执行步骤分析：

上例中，我们特意在每条执行语句后面执行p,执行结果如下：

说明：

第一步：'/\<he/'p （找到以he开头那一行，将它打印出来）

第二步：'s/hello/HELLO/g'p （全局替换hello为HELLO）

第三步：'s/!/??/g'p （全局替换!为??）

由此我们看出执行的总体流程为：获取当前一行内容到缓存空间，根据表达式(express)对缓存空间的数据进行处理(见注2)。

上图中，标注的第三步(第三个表达式:'s/!/??/g'p)并不完整,完整的第三步应该对应为:

也正是由于第三步，

此时输出的才有这么多内容！

 

2、对同一行采用多个动作采用{} 加 ; 的方式

范例：找到以he为开头的行，替换该行的hello为HELLO并打印, 替换该行的!为??并打印

sed -n '/\<he/{s/hello/HELLO/;p;s/!/??/g;p}' test.txt

 

3、采用 | （管道）

管道的处理方式更类似与一个一个函数执行的情况

范例：替换good为GOOD并打印作为下一条执行命令的输入,替换!为??并打印

sed -n 's/good/GOOD/g'p test.txt | sed -n 's/!/??/g'p

 

总结：重点注意-e和{}；区别

【2.5.3、提取特殊行】

1、提取奇数行：

sed -n '1~2'p test.txt

2、提取偶数行：

sed -n '2~2'p test.txt

 

【2.5.4、引用shell变量】

将一般使用的单引号'' 替换成 "",原因：双引号为弱转义，不会取出$变量的功能，而单引号为强转义，会把$视为一般符号表示。

范例：

步骤1、设置TEST变量：export TEST="good"

步骤2、调用TEST变量：sed -n "/$TEST/"p test.txt

 

【三、注释】

注1：模式空间和地址匹配

1、模式空间

可以简单的认为模式空间就是sed处理的缓存空间，以下图表示一个sed替换的执行过程：

在上图中的左侧为执行指令:

s/Unix/UNIX/                      #将Unix转化为 UNIX

s/UNIX System/UNIX Operating System/      #将UNIX System 转化为 UNIX Operating System

右侧表示缓冲区的执行情况（也就是模式空间）。

 

2、地址匹配

以各行号来表示每行(地址定位)，下表描述[指定范围空间]可采用的描述方式：

符号	意义和范例
1	意义：表示第一行 范例：屏幕仅输出test的第一行（n,p见后面分析） sed -n '1'p test
2	意义：表示第二行 范例：屏幕仅输出test的第二行 sed -n '2'p test
$	意义：表示最后一行 范例：屏幕仅输出test的最后一行 sed -n '$'p test
1,2	意义：表示第一行到第二行 范例：屏幕仅输出test的第一行和第二行 sed -n '1,2'p test
1,/匹配字符串/	意义：表示第一行到到/匹配字符串/ 范例：输出从首行到包含/good/i的行(此时首行不在/goog/的检索范围内) sed -n '1,/good/'p test.txt
/匹配字符串/,/匹配字符串/!	意义：不在匹配字符串的行 范例：首先找到两个字符串的匹配行，然后打印出不在这些行里面的行 本例中：假设有10行，匹配/ni/,/i/的为2-3行,所以打印的为1,4-10行。 sed -n '/ni/,/i/!'p test.txt

 

注2：sed的执行流程

在使用sed处理文件的时候，如果没有添加-n将会在输出结果的时候同时输出源数据，比如：

源数据：

我们输出前两行

因此简单描述sed的处理流程：

1、读入新的一行内容到缓存空间(并打印到屏幕)

2、依次取指令匹配模式（也就是command）

3、重复处理完2（失败也是处理完），输出缓存行（这是加了p的缘故）的内容，回到1

4、处理直到1没有新的一行=>结束

 

注3：测试文本(test.txt)

内容:

good!

goood!

good!

nigood!

goodni!

hello!

e

i

good!

goo''od!

go??od!

goooood!

GOOD!

NICE!

 

【四、参考】

http://blog.jobbole.com/31026/

http://kodango.com/sed-and-awk-notes-part-2

http://mirrors.ustc.edu.cn/gnu/ (gnu镜像，sed源码)