Linux sed command

概述

sed 是一种在线非交互式编辑器，它一次处理一行内容。

处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space）。

接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。

Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等

参数选项

sed [选项] [动作]

选项与参数：

-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。

-e ：直接在命令列模式上进行 sed 的动作编辑；

-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；

-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)

-i ：直接修改读取的文件内容，而不是输出到终端。

function：

a ：新增行， a 的后面可以是字串，而这些字串会在新的一行出现(目前的下一行)

c ：取代行， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行

d ：删除行，因为是删除，所以 d 后面通常不接任何参数，直接删除地址表示的行；

i ：插入行， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行

s ：替换，可以直接进行替换的工作,通常这个 s 的动作可以搭配正规表示法，例如 1,20s/old/new/g 一般是替换符合条件的字符串而不是整行

一般function的前面会有一个地址的限制，例如 [地址]function，表示我们的动作要操作的行。下面我们通过具体的例子直观的看看sed的使用方法。

使用例子

删除行

//test.txt
11 aa
22 bb
33 cc
23 dd
55 2e

sed '1, 2d' test.txt

输出:

33 cc

23 dd

55 2e

---

sed '/2/d' test.txt

输出:

11 aa

33 cc

/2/ 是一个正则表达式，在sed中正则表达式是写在 /.../ 两个斜杠中间的，这个正则的意思是寻找所有包含2的行，执行相应的操作，也就是删除所有包含2的行，如果我们只想删除以2开头的行呢，只需要修改一下正则表达式就可以了：

---

sed '/^2/d' test.txt

输出:

11 aa

33 cc

55 2e

增加行

sed '1a hello world' test

输出:

11 aa

hello world

22 bb

33 cc

23 dd

55 2e

a表示在指定数字行后面附加一行，如果a前面没有数字，就会在所有行后增加指定字符串

---

sed '1i hello' test.txt

hello world

11 aa

22 bb

33 cc

23 dd

55 2e

i表示在指定行插入字符串

替换行

sed '1c hello' test.txt

c会替换所在行的所有内容

替换部分字符串而不是整行

sed 's/aa/AA/' test.txt

输出:

11 AA

22 bb

33 cc

23 dd

55 2e

s命令，s/待替换的字符串/新字符串/，但这个例子只会替换每一行遇到的第一个aa，假如有一个新的test.txt如下

11 aa
22 bb
33 cc
23 dd
55 2e
66 aaff ccaa
zz ggaa

sed 's/aa/AA/ test.txt'

输出:

11 AA

22 bb

33 cc

23 dd

55 2e

66 AAff ccaa

zz ggAA

要想全局替换，可使用参数g, sed 's/aa/AA/g' test.txt

输出：

11 AA

22 bb

33 cc

23 dd

55 2e

66 AAff ccAA

zz ggAA

将修改应用到文件中

我们之前做的所有实验，实际上都没有修改test.txt文件的内容，也就是说我们看到的修改结果仅仅输出到控制台上，而文件test.txt的内容是没有修改的，我们可以使用 -i 选项告诉sed直接修改文件的内容，而不是将修改结果输出到终端上，例如：

sed -i '2d' test.txt

sed正则中的元字符

我们知道sed中的命令前面可以使用地址范围进行限制，表示对文件的某些符合条件的行执行相应的操作，其中我们可以使用正则表达式选出要操作的行，而sed中正则的语法可能与我们其他命令的正则语法有一些不同，这里我们有必要列出sed中常用的正则元字符：

$ 表示行尾

^ 表示行首

[a-z0-9]表示字符范围

[^]表示除了字符集中的字符以外的字符

sed的正则中 \(\) 和 \{m,n\} 需要转义

. 表示任意字符

* 表示零个或者多个

\+ 一次或多次　　

\? 零次或一次

\| 表示或语法

实例1 字符串替换成路径

利用sed修改yml文件

结合python3, 需求是我想把yml文件里的dataset字符串改成一个绝对路径

os.system("sed -ir 's/dataset\.txt/\/vip_data_center\/test_envs\/trainer\/resource\/lite_models\/res\/terse_rnnt_107M_encoder0_in_3000\.csv/g' mynn.yml")

要将.和/转义

实例2 斜杠和反斜杠互相转换

假如有一个test.txt内容为D:\User\Desktop

\ -> /

sed -ir 's/\\/\//g'

/ -> \

sed -ir 's/\//\\/g'

参考：

http://www.runoob.com/linux/linux-comm-sed.html

http://www.cnblogs.com/wangqiguo/p/6718512.html#_label5