sed 命令详解

sed

用于筛选和转换文本的流编辑器

描述：

sed是一个流编辑器，流编辑器对一个输入流执行基本的文本转换(输入流来自文件或者管道行)。虽然在某些方面类似于很多可运行脚本的编辑器，但是sed的工作方式是每次只处理一个输入(可以理解为一个模式空间)，因此更高效。但是sed在管道中过滤文本的作用使它明显区别于其他类型编辑器。

命令格式：

sed [OPTION] {script} file

选项

-n, --quiet, --silent

    抑制模式空间的自动打印

    例如

echo -e "abc\ndef" | sed 'p'
#输出 abc
#    abc
#    def
#    def

echo -e "abc\ndef" | sed -n 'p'
#输出 abc
#    def

-e script, --expression=script

    添加脚本到将要被执行的命令

    例如

echo -e "abc\ndef" | sed -n -e 's/abc/ghi/' -e 'p'
# 输出 ghi
#     def

-f script-file, --file=script-file

    将脚本文件的内容添加到要执行的命令

--follow-symlinks

    处理符号链接

-i[SUFFIX], --in-place[=SUFFIX]

    编辑文件(如果提供了SUFFIX ，则对原文件先进行备份)

    例如

sed -i_bak '1d' aaa
# 将先生成aaa的备份文件aaa_bak

-l N, --line-length=N

    为’l‘命令指定希望的行折叠长度

--posix

    禁用所有的GNU扩展。

-r, --regexp-extended

    在脚本中使用扩展的正则表达式。

-s, --separate

    将文件视为单个独立的文件，而不是将它们视为整个连续的字符流。

-u, --unbuffered

    从输入中加载尽可能少量的数据并且更频繁的刷新

--help

    显示帮助并且退出

--version

    输出版本信息并退出

命令

0地址命令

: label

    为b和t命令定义标签。

#comment

    注释一行

}

    块结束符号

0地址或者1地址命令

=

    打印当前的行号

a \

    text

    追加新行

    追加文本,(模式空间内的)每一行后都将追加(新行)反斜杠后的文本。

    例如

echo "abc" | sed 'a\def'
# 输出 abc
#     def

i \

    text

    插入新行

    插入文本, (模式空间内的)每一行前都将插入(新行)反斜杠后的文本。

    例如

echo "abc" | sed 'i\def'
# 输出 def
#     abc

q [exit-code]

    立即退出sed脚本不处理任何更多的输入, 除非自动打印是未禁用的情况下当前的模式空间将被打印。退出码参数是一个GNU扩展。

Q [exit-code]

    立即退出sed脚本不处理任何更多的输入。退出码参数是一个GNU扩展。

r filename

    追加从filename读取的文本

R filename

    追加从filename读取的一行。每次调用命令从文件中读取一行。这是一个GNU扩展。

接受地址范围的命令

{      

    块命令的开始,

b label

    跳转到标签，如果label省略，跳转到命令结尾。

c \

   text

   行替换

   用text替换选中的行，每一行都将被反斜杠后的文本替换。

   例如

echo -e "abc\ndef" | sed 'c\ghi'
# 输出 ghi
#     ghi

d

    删除模式空间。启动下一个循环。

D

    如果模式空间内没有换行，开启一个新的循环如同d命令被发布。否则，删除模式空间的文本直到换行，并且在新产生的模式空间中重启循环，不从输入读入新行。

    这个怎么理解呢？当模式空间有多行时，D命令每次只删除一行，然后从下一行开始新的循环，这里的下一行是模式空间中的第二行，所以不从输入读入新行。

    而d命令就会把模式空间全部删除。然后从下一行开始循环，这里的下一行就是从输入读取的新行了。

    例如

echo -e "abc\ndef\nghi\njkl" | sed -n 'N;/abc\ndef/d;p'
# 输出 ghi
#     jkl
# sed共执行了2次循环，第一次循环如下
#     N追加了一行，模式空间内容为"abc\ndef"；删除模式空间；开始下一个循环，读入输入的第一行，模式空间内容为"ghi"；
# 第二次循环如下
#     N追加了一行，模式空间内容为"ghi\njkl"；删除操作未执行；打印模式空间。

echo -e "abc\ndef\nghi\njkl" | sed -n 'N;/abc\ndef/D;p;p'
# 输出 def
#     ghi
#     def
#     ghi
# sed共执行了2次循环，第一次循环如下
#     N追加了一行，模式空间内容为"abc\ndef"；删除模式空间的第一行，模式空间内容为"def"；开始下一个循环；
# 第二次循环如下
#     N追加了一行，模式空间内容为"def\nghi"；删除操作未执行；打印模式空间，打印模式空间。  

h H

    复制/追加 模式空间到保持空间。

g G

    复制/追加 保持空间到模式空间。

    例如

echo -e "abc\ndef" | sed -n 'h;n;g;p'
# 输出 abc

echo -e "abc\ndef" | sed -n 'h;n;G;p'
# 输出 def
#     abc

echo -e "abc\ndef" | sed -n 'h;n;H;G;p'
# 输出 def
#     abc
#     def

l

    用视觉明确的格式列出当前行。

l width

    用视觉明确的格式列出当前行，在第width个字符处阻断(换行)。这是一个GNU扩展。

    例如

echo -e "abc\ndef" | sed -n 'N;l'
# 输出 abc\ndef$
echo -e "abc\ndef" | sed -n 'N;l 4'
# 输出 abc\
#     \nd\
#     ef$

n N

    读取/追加 输入的下一行到模式空间。

    例如，下面的例子体现了大小写n命令的区别

echo -e "abc\ndef" | sed -n 'n;p'
# 输出 def

echo -e "abc\ndef" | sed -n 'N;p'
# 输出 abc
#     def

p

    打印当前的模式空间。

P

    打印(的内容只)到当前模式空间的第一个换行符。只打印一行的意思。

    例如，下面的例子体现了大小写p命令的区别

echo -e "abc\ndef" | sed -n 'N;/abc\ndef/p'
# 输出 abc
#     def

echo -e "abc\ndef" | sed -n 'N;/abc\ndef/P'
# 输出 abc

s/regexp/replacement/

    用replacement替换匹配的内容

    尝试对模式空间匹配正则表达式。如果成功，用replacement替换掉匹配的部分。replacement可能包含特殊的字符&引用已匹配的那部分。特殊的转义\1到\9引用正则表达式中对应的子表达式。

    例如

echo "abc" | sed 's/abc/def/'
# 输出 def

echo "abc" | sed 's/abc/&def/'
# 输出 abcdef

    关于s命令的GNU扩展会在后文中描述，包括替换模式和其他选项

t label

    切换到分支label。

    自从上一个输入行被读取并且(执行了)t或者T命令，如果s///已经完成一个成功的替换，切换到分支label；如果省略了标签，则切换到脚本的结尾。

T label

    自从上一个输入行被读取并且(执行了)t或者T命令，如果s///连一个成功的替换都没有完成，切换到分支label；如果省略了标签，则切换到脚本的结尾。这是一个GNU扩展。

w filename

    写当前的模式空间到文件filename。

W filename

    写当前模式空间的第一行到文件filename。这是一个GNU扩展。

x      

    交换模式空间和保持空间的内容。

y/source/dest/

    将模式空间内source里的字符转换成dest里对应的字符。

    例如

echo "axxbxxcxx" | sed 'y/abc/123/'
# 输出 1xx2xx3xx

sed命令可以不给出地址，在这种情况下将对所有的输入行执行命令；

给出一个地址，这种情况下只对匹配的输入行执行命令；

或者给出2个地址，这种情况下将对匹配的范围内(第一个地址开始持续到第二个地址)的所有行执行命令。

关于地址范围的三个注意事项：

1 语法是 addr1,addr2 (地址用逗号分割)；

2 已经匹配的addr1的行总是被接受的，即使地址2选择了一个较早的行(行号小于地址1)；

3 如果addr2是一个正则表达式，它不会针对已经匹配的地址1的行进行测试。

如何理解第二条？就是说如果addr1匹配第5行，在第5行之后没有匹配addr2的行，则将匹配第5行到输入的结尾。

那么 6,4 这种格式的地址呢？ 6,4 = 6

地址之后命令之前，一个 ！(感叹号) 可能被插入，指明命令将被执行在不匹配的行上。

    例如

echo -e "abc\ndef" | sed -n '1!p'
# 输出 def
echo -e "abc\ndef" | sed -n '$!p'
# 输出 abc

支持如下的地址类型：

number     匹配指定的行(跨文件累计增加，除非命令行指定-s选项)。

first~step 匹配first开始的每一个阶梯。

           比如 sed -n 1~2p 将打印输入流中的所有奇数行，地址 2~5 将匹配从第二行开始的每一个第五行，

           第一个数可以是0，这种情况下，sed操作每一个阶梯的倍数行。

$          匹配最后一行

/regexp/   匹配正则表达式regexp匹配的行。

\cregexpc  匹配正则表达式regexp匹配的行，c可以是任意的字符。

           比如有一行内容为abcdefg，则\abcdefga将匹配该行。

GNU sed 也支持一些特殊的2个地址的格式：

0,addr2    开始于第一个地址匹配的状态，直到匹配addr2的行被找到.这类似于 1,addr2，除了addr2匹配输入的第一行，

           0,addr2 格式认为第一行是范围的末尾，而 1,addr2 格式认为第一行是范围的开始。

           这种格式只工作在addr2是正则表达式的情况。

           如果第一行匹配addr2，0,addr2 匹配的范围是第一行，而 1,addr2 匹配的范围是整个输入。

addr1,+N   将匹配addr1和紧接着addr1的n行。

           6,+4 = 6,10

           6,+2 = 6,8

addr1,~N   将匹配addr1和接下来的行，直到行号是n的倍数。

           6,~5 = 6,10

           6,~4 = 6,8

s命令的GNU扩展

在替换文本中可以包含一个特殊序列，由反斜杠引导一个字母组成。说明如下

\L  转换替换文本到小写格式直到 \U 或者 \E 出现

\l  转换下一个字符到小写格式

\U  转换替换文到大写格式直到 \L 或者 \E 出现

\u  转换下一个字符到大写格式

\E  停止由 \L 或者 \U 开启的大小写转换

s命令后边可以跟如下标志

g   应用替换到所有匹配正则表达式的内容，不仅仅是第一个。

number  只替换第n个匹配。

p  执行完替换，打印新的模式空间。

w file-name

    执行完替换，写结果到命名的文件。

e  该命令允许从shell命令管道输入模式空间。

I

i  

    正则表达式匹配时忽略大小写。

M

m

    大意是说^在匹配行首时，是从第0个位置开始还是从第一个字符开始？在有缩进的情况下。但是好像并没有测验出什么？