[转帖]Shell三剑客之sed

目录

• Shell三剑客
• sed工具
• sed 流编辑器的工作过程
• sed命令格式与选项操作符
• sed命令的常用选项
• sed命令的打印功能
• • 默认打印方式
  • sed命令的寻址打印
  • 文本模式过滤行内容
• sed的删除操作
• • 通过行号进行删除
  • 匹配字符串内容删除
  • 字符串搭配正则进行删除
  • 删除空行的三种方法
• sed命令替换
• • 符进行大小写的替换
  • 整行替换
  • 单字符的替换
• sed命令的增加
• sed命令中字符串和字符的位置交换
• 面试题
• • 提取版本号
  • 查看指定时间内的日志
  • 修改网卡的IP地址
• 总结

---

Shell三剑客

shell三剑客是grep、sed和awk三个工具的简称,因功能强大，使用方便且使用频率高，因此被戏称为三剑客，熟练使用这三个工具可以极大地提升运维效率。

sed工具

sed 即 Stream EDitor，和 vi 不同，sed是行编辑器

sed是一种流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕
接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。
Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

sed 流编辑器的工作过程

sed的工作流程主要包括读取、执行和显示三个过程：

读取： sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。

执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。

显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。

在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。

注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。

经典技术题

怎么解决sed命令处理容量过大，或则内容过多的而导致执行效率慢的问题？

解决方案一（推荐用法）：
使用split命令进行文件分割（例如文件如果是百万行，就创建一个单独的目录将文件分割为一百个为一万行的文本）再使用sed命令进行处理，除了split分割，也可以使用一个遍历分割shell脚本进行执行

split -l -30 test1.txt se --按行分割
split -b 400M test1.txt se --按大小分割

解决方案二：
使用 cat 文件名 | sed 处理
（但是该方案只能针对中大型的文件文本，如果文本量过大，处理效果不好）

sed命令格式与选项操作符

基本操作格式：

sed -e ‘操作’ 文件1 文件2
sed -e ‘操作’ 文件1 文件2
sed -f 脚本文件 文件1 文件2
sed -i -e ‘操作’ 文件1 文件2

执行多条命令的格式：

方式一：
sed -e ‘操作1’ -e ‘操作2’ 文件
sed -n -e ‘/^r/p’ -e ‘/^b/p’ /etc/passwd​

方式二：
sed -e ‘操作1;操作2’ 文件 ​

sed命令的常用选项

-e 或–expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用。
-f 或–file=：表示用指定的脚本文件来处理输入的文本文件。
-h 或–help：显示帮助。
-i 直接修改目标文本文件。
-n 仅显示script处理后的结果。

sed命令的操作符
s：替换，替换指定字符。
d：删除，删除选定的行。
a：增加，在当前行下面增加一行指定内容。
i：插入，在选定行上面插入一行指定内容。
c：替换，将选定行替换为指定内容。
y：字符转换，转换前后的字符长度必须相同。
p：打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用。
=：打印行号。
l(小写L)：打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）
r：高级正则表达式

sed最为核心的功能是增删改查

sed命令的打印功能

默认打印方式

sed命令的寻址打印

方式一：按照行号寻求内容

方式二：进行行号范围区间的打印

方式三：指定间隔打印

方式四：对奇数行和偶数行的打印

n在p前面，跳过一行，打印下一行，就是偶数行；在后面，就是打印第一行，然后跳过一行，形成奇数行。

文本模式过滤行内容

方式一：对包含的字符串进行过滤打印

方式二：应用基础正则表达式进行打印

方式三：使用扩展正则表达式进行打印
注意：
sed -r 支持扩展正则表达式。同时在 使用{n}、{n,}、{n,m}时，括号{}前不需要加反斜杠\ 。

sed的删除操作

sed -i 时会对文本进行实际操作（建议对目标文件先进行备份，再进行操作）

如果要生效：sed -i -n

通过行号进行删除

匹配字符串内容删除

字符串搭配正则进行删除

删除空行的三种方法

grep -v "^$" test1.txt     ----过滤出非空行
cat test1.txt |tr -s "\n"  ----压缩换行符
sed '/^$/d' test1.txt      ----删除空行



1
2
3

sed命令替换

格式：
行范围 s/旧字符串/新字符串/替换标记 ​

替换标记：
数字：表明新字符串将替换第几处匹配的地方
g：表面新字符串将会替换所有匹配的地方
p：打印与替换命令匹配的行，与-n一起使用
w文件：将替换的结果写入文件中

sed命令的替换中：
s：替换字符串
c：整行替换
y：字符替换，替换前后的字符串长度必须相同

符进行大小写的替换

l&是转换小写的一种特殊的符号，前面要加转义符“\”

u&是转换首字母大写的一种特殊的符号，前面要加转义符“\”

整行替换

单字符的替换

使用y，是对单个字符进行替换，每个字符需要一一对应，不是整体替换。前后字符串长度需要一致，不然会报错
只要有匹配的单字符会全部替换

sed命令的增加

a：在下一行添加内容

i：在上一行插入内容

r：在行后读入文件内容

sed命令中字符串和字符的位置交换

面试题

提取版本号

ant-1.9.7.jar
ant-launcher-1.9.7.jar
antlr-2.7.7.jar
antlr-runtime-3.4.jar
aopalliance-1.0.jar
archaius-core-0.7.6.jar
asm-5.0.4.jar
aspectjweaver-1.9.5.jar
bcpkix-jdk15on-1.64.jar
bcprov-jdk15-1.46.jar
bcprov-jdk15on-1.64.jar
checker-compat-qual-2.5.5.jar

查看指定时间内的日志

修改网卡的IP地址

总结

1.sed命令是一种流编辑器读取文件会进行逐行读取加上指令操作，所以过大的文件一定要拆分后再交给sed处理

2.sed -r 搭配扩展正则表达式使用，使用{n} {n,} {n,m} 不需要加“\”

3.用 -i 时一定要先备份（尤其对重要文件的操作），或者时先实验好确定无误时，再使用 -i

4.sed 命令 的重点在于增删改查四个功能，可以运用在脚本中对重要文件配置的修改，添加等作用尤其有效

文章知识点与官方知识档案匹配，可进一步学习相关知识

云原生入门技能树首页概览12811 人正在系统学习中