SED之所以能以行为单位的编辑或修改文本,其原因在于它使用了两个空间:一个是活动的“模式空间(pattern space)”,另一个是起辅助作用的“暂存缓冲区(holdingspace)这2个空间的使用。

sed编辑器逐行处理文件,并将输出结果打印到屏幕上。sed命令将当前处理的行读入模式空间(pattern space)进行处理,sed在该行上执行完所有命令后就将处理好的行打印到屏幕上(除非之前的命令删除了该行),sed处理完一行就将其从模式空间中删除,然后将下一行读入模式空间,进行处理、显示。处理完文件的最后一行,sed便结束运行。sed在临时缓冲区(模式空间)对文件进行处理,所以不会修改原文件,除非显示指明-i选项。

sed之所以能以行为单位的编辑或修改文本,其原因在于它使用了两个空间:一个是活动的“模式空间(pattern space)”,另一个是起辅助作用的“保持空间(hold space)这2个空间的使用。

模式空间:可以想成工程里面的流水线,数据之间在它上面进行处理,用于处理文本行。

保持空间:可以想象成仓库,我们在进行数据处理的时候,作为数据的暂存区域,用于保留文本行,是保存已经处理过的输入行,默认有一个空行。

与模式空间和暂存空间(hold space)相关的命令:

n 输出模式空间行,读取下一行替换当前模式空间的行,执行下一条处理命令而非第一条命令。

N 读入下一行,追加到模式空间行后面,此时模式空间有两行。

h 把模式空间的内容复制到保留空间,覆盖模式

H 把模式空间的内容追加到保留空间,追加模式

g 把保留空间的内容复制到模式空间,覆盖模式

G 把保留空间的内容追加到模式空间,追加模式

x 将暂存空间的内容于模式空间里的当前行互换。

! 对所选行以外的所有行应用命令。

注意:暂存空间里默认存储一个空行。

例子一 
sed G 
在文件每一行下面输出一个空行

代码:
$ cat foo 
11111111111111 
22222222222222 
33333333333333 
44444444444444 
55555555555555

$ sed G foo 
11111111111111

22222222222222

33333333333333

44444444444444

55555555555555

解释:

sed 中 G 的用法 
The G function appends the contents of the holding area to the contents of the pattern space. The former and new contents are separated by a newline. The maximum number of addresses is two.

hold space : 保持空间(或者叫保留空间、缓冲区),初始为空 
pattern space :模式空间

在上面的例子中,将为空的hold space附加到文件的每一行后面,所以结果是每一行后面多了一个空行

引申出: 
sed '/^$/d;G' 
在文件的每一个非空行下面输出一个空行 
sed '/^$/d;G;G' 
在文件的每一个非空行下面输出两个空行

代码:
$ cat foo 
11111111111111 
22222222222222

33333333333333 
44444444444444 
55555555555555

$ sed '/^$/d;G' foo 
11111111111111

22222222222222

33333333333333

44444444444444

55555555555555

注:有时会有一些由空格符或者TAB组成的空行,前面的正则式 ^$ 就不能匹配到这样的行,则可以这样 
sed '/[[:space:]]/d;G'

例子二 
sed '/regex/{x;p;x;}' 
在匹配regex的所有行前面插入一个空行

代码:
$ cat foo 
11111111111111 
22222222222222 
test33333333333333 
44444444444444 
55555555555555

$ sed '/test/{x;p;x;}' foo 
11111111111111 
22222222222222

test33333333333333 
44444444444444 
55555555555555 

解释: 
sed 中 x 的用法 
The exchange function interchanges the contents of the pattern space and the holding area. The maximum number of addresses is two. 
即交换保持空间hold space和模式空间pattern space的内容

sed 中 p 的作用是把模式空间复制到标准输出。

分析一下该命令执行过程中保持空间和模式空间的内容

命令 保持空间 模式空间 
x 执行前:null 执行后:test\n 执行前:test\n 执行后:null 
p 执行前:null 执行后:test\n 执行前:test\n 执行后:null 输出一个空行 
x 执行前:test\n 执行后:null 执行前:null 执行后:test\n

(注:把test所在的行简写为test了)

引申: 
可以试验一下 sed '/test/{x;p;}' foo 或者 sed '/test/{p;x;}' foo 等,看看结果,体会两个空间的变化

相应的: 
sed '/regex/G' 是在匹配regex的所有行下面输出一个空行 
sed '/regex/{x;p;x;G;}' 是在匹配regex的所有行前面和下面都输出一个空行

例子三 
sed 'n;G;' 
在文件的偶数行下面插入一个空行

代码:
$ cat foo 
11111111111111 
22222222222222 
33333333333333 
44444444444444 
55555555555555

$ sed 'n;G;' foo 
11111111111111 
22222222222222

33333333333333 
44444444444444

55555555555555 

解释: 
sed 中 n 的用法:将模式空间拷贝于标准输出。用输入的下一行替换模式空间。

执行 n 以后将第一行输出到标准输出以后,然后第二行进入模式空间,根据前面对 G 的解释,会在第二行后面插入一个空行,然后输出;再执行 n 将第三行输出到标准输出,然后第四行进入模式空间,并插入空行,依此类推

相应的: 
sed 'n;n;G' 表示在文件的第 3,6,9,12,... 行后面插入一个空行 
sed 'n;n;n;G' 表示在文件的第 4,8,12,16,... 行后面插入一个空行 
sed 'n;d' 表示删除文件的偶数行

例子四 
sed '$!N;$!D' 
输出文件最后2行,相当于 tail -2 foo

代码:
$ cat foo 
11111111111111 
22222222222222 
33333333333333 
44444444444444 
55555555555555

$ sed '$!N;$!D' foo 
44444444444444 
55555555555555

解释:

D 删除模式空间内第一个 newline 字母 \n 前的资料。 
N 把输入的下一行添加到模式空间中。

sed '$!N;$!D' : 对文件倒数第二行以前的行来说,N 将当前行的下一行放到模式空间中以后,D 就将模式空间的内容删除了;到倒数第二行的时候,将最后一行附加到倒数第二行下面,然后最后一行不执行 D ,所以文件的最后两行都保存下来了。

还有 N 的另外一种用法

代码:
$ sed = foo | sed N 

11111111111111 

22222222222222 

33333333333333 

44444444444444 

55555555555555

$ sed = foo | sed 'N;s/\n/   /' 
1       11111111111111 
2       22222222222222 
3       33333333333333 
4       44444444444444 
5       55555555555555 

解释: 
N 的作用是加上行号,可以用于格式化输出文件

例子五 
sed '1!G;h;$!d' 
sed -n '1!G;h;$p' 
将文件的行反序显示,相当于 tac 命令(有些平台没有这个命令)

代码:
$ cat foo 
11111111111111 
22222222222222 
33333333333333

$ sed '1!G;h;$!d' foo 
33333333333333 
22222222222222 
11111111111111

$ sed -n '1!G;h;$p' foo 
33333333333333 
22222222222222 
11111111111111 

解释: 
sed 中 h 用法:h 
The h (hold) function copies the contents of the pattern space into a holding area, destroying any previous contents of the holding area. 
意思是将模式空间的内容保存到保持空间中去

sed 中的 d 表示删除模式空间。

1!G表示除了第一行以外,其余行都执行G命令;$!d表示除了最后一行以外,其余行都执行d命令。

看一下sed '1!G;h;$!d'命令执行过程中保持空间与模式空间的变化:

命令 保持空间 模式空间 
第一行 h;d 执行前:null 执行后:1111\n 执行前:1111\n 执行后:null 
第二行 G;h;d 执行前:1111 执行后:2222\n1111\n 执行前:2222\n 执行后:null 
第二行 G;h 执行前:2222\1111\n 执行后:3333\n2222\n\1111\n 执行前:3333\n 执行后:3333\n2222\n\1111\n

(注:把各个行简写了)

这样输出以后就是文件的反序了。

题外话:在vi中对一个文件进行反序显示的命令是 :g/./m0 , 意思是按照文件正常顺序每找到一行,就把该行放到文件的最上面一行去,这样循环一下正好把文件的行反序显示了。

阅读原文

通过几个例子看sed的模式空间与保持空间的更多相关文章

  1. 借个例子说明sed的模式空间,以及针对模式空间的N,P,D用法

    下面是我们要处理的文本:题目要求是把所有散列在不同行的同一个中括号中的数据集中在一起, 见下表就秒懂了吧 处理前的文本 处理后的文本 [123456][ASDEF][ABCD123WF][789ADC ...

  2. Spark小课堂Week7 从Spark中一个例子看面向对象设计

    Spark小课堂Week7 从Spark中一个例子看面向对象设计 今天我们讨论了个问题,来设计一个Spark中的常用功能. 功能描述:数据源是一切处理的源头,这次要实现下加载数据源的方法load() ...

  3. 结合JDK源码看设计模式——迭代器模式

    前言: Iterator翻译过来就是迭代器的意思.在前面的工厂模式中就介绍过了iterator,不过当时介绍的是方法,现在从Iterator接口的设计来看,似乎又是一种设计模式,下面我们就来讲讲迭代器 ...

  4. 结合JDK源码看设计模式——策略模式

    前言: 现在电商已经成为我们生活中不可或缺的购物渠道,同时各大商家会针对不同的时间做出不同的折扣,这在我们看来就是一种营销手段,也是一种策略,今天我们就来讲讲JDK中的策略模式是怎么样的. 一.定义 ...

  5. 转 从红帽、GitHub和Docker看开源商业模式的进阶

    从红帽.GitHub和Docker看开源商业模式的进阶 发表于2014-12-16 10:26| 7594次阅读| 来源http://stratechery.com/| 0 条评论| 作者Ben Th ...

  6. sed的模式空间和保持空间

    摘自:https://blog.csdn.net/wanglelelihuanhuan/article/details/51591809 sed的模式空间和保持空间 2016年06月06日 17:15 ...

  7. 用例子看ASP.NET Core Identity是什么?

    原文:用例子看ASP.NET Core Identity是什么? 目录 前言 基于声明的认证(Claims-based Authentication) Claim 在ASP.NET Core Iden ...

  8. sed 之 模式空间 & 保持空间

    模式空间:容纳当前输入行的缓冲区: 保持空间:作为辅助的一个缓冲区,可以和模式空间进行交互,但是命令不能直接作用于保持空间. 由上面定义可以知道,模式空间和保持空间是两个独立的缓冲区,可以进行交互,命 ...

  9. 结合JDK源码看设计模式——模板方法模式

    前言: 相信很多人都听过一个问题:把大象关进冰箱门,需要几步? 第一,把冰箱门打开:第二,把大象放进去:第三,把冰箱门关上.我们可以看见,这个问题的答案回答的很有步骤.接下来我们介绍一种设计模式--模 ...

随机推荐

  1. 【转】python中的一维卷积conv1d和二维卷积conv2d

    转自:https://blog.csdn.net/qq_26552071/article/details/81178932 二维卷积conv2d 给定4维的输入张量和滤波器张量来进行2维的卷积计算.即 ...

  2. Android学习之基础知识五—RecyclerView(滚动控件)

    RecyclerView可以说是增强版的ListView,不仅具有ListVIew的效果,还弥补许多ListView的不足. 一.RecyclerView的基本用法 与百分比布局类似,Recycler ...

  3. this computer meets the requirements for HAXM,but intel Virtualization Technology (VT-x) is not turned on

    this computer meets the requirements for HAXM,but intel Virtualization Technology (VT-x) is not turn ...

  4. 解决System.Runtime.CompilerServices.ExtensionAttribute..ctor 与 ‘ExtensionAttribute’ is ambiguous in the namespace ‘System.Runtime.CompilerServices’ 问题

    从VSS上获取以前的老项目,编译时报System.Runtime.CompilerServices.ExtensionAttribute..ctor 网上写的“删除 Newtonsoft.Json.N ...

  5. 数据库日志——mysql与Oracle的日志

    一.MySQL 在数据同步中用的比较多的是MySQL的binlog 1.bin-log简介 它记录了所有的DDL和DML(除了数据查询语句,select与show不记录)语句,以事件形式记录,还包含语 ...

  6. 生成、查看文件的MD5、SHA、SHA256值

    生成文件的MD5.SHA.SHA256 Linux系统生成MD5.SHA.SHA256 md5sum file1.zip  >> MD5.txt sha1sum file1.zip > ...

  7. Iterable接口

    Iterable接口 总览 这个接口用来表明可以进行迭代.具体的迭代方式,可以通过iterator()方法获取到一个迭代器,在迭代器中会实现如何获取下一个元素,以及是否迭代结束. java8中源码如下 ...

  8. 利用Costura.Fody制作绿色单文件程序(C#程序(含多个Dll)合并成一个Exe)

    原文:利用Costura.Fody制作绿色单文件程序(C#程序(含多个Dll)合并成一个Exe) 开发程序的时候经常会引用一些第三方的DLL,然后编译生成的exe文件就不能脱离这些DLL独立运行了.这 ...

  9. 1kb的前端HTML模板解析引擎,不限于嵌套、循环、函数你能想到的解析方式

    传送门:https://github.com/xiangyuecn/BuildHTML copy之前说点什么 html做点小功能(什么都没有),如果是要手动生成html这种操作,容易把代码搞得乱七八糟 ...

  10. 【JUC源码解析】CompletableFuture

    简介 先说Future, 它用来描述一个异步计算的结果.isDone方法可以用来检查计算是否完成,get方法可以用来获取结果,直到完成前一直阻塞当前线程,cancel方法可以取消任务.而对于结果的获取 ...