linux文本三剑客之sed命令详解

linux文本三剑客之sed命令详解

---

目录

• linux文本三剑客之sed命令详解
  • 1.sed命令详解
    • 1.1 地址定界和编辑命令
    • 1.2 搜索替换
    • 1.3 sed高级用法

---

1.sed命令详解

sed称为流编辑器，处理流程如下：

1. 一次处理一行内容，把当前处理的行缓存在临时缓存区中，称为“模式空间”,用sed命令处理缓存区的内容，处理完成后，把缓冲区的内容送往屏幕。sed默认不会修改源文件数据。
2. 当一行数据匹配完成后，它会继续读取下一行数据，并重复这个过程，直到将文件中所有数据处理完毕。

sed命令的语法结构如下：

sed [OPTION]... {script} [input-file]...

{script}：为地址命令

sed命令的选项如下：

选项	说明
-n	默认情况下，sed 会在所有的脚本执行完毕后，会自动输出处理后的内容，而该选项会屏蔽自动输出，需使用 p 命令来完成输出。
-e	多点编辑，逻辑与，需同时匹配前后两者内容才会输出
-f	从指定文件中读取编辑文件
-r	支持使用扩展正则表达式，默认支持标准正则表达式
-i	此选项会直接修改源文件

1.1 地址定界和编辑命令

• 地址定界

  地址定界符	说明
  不给地址	默认进行全文处理
  #	指定的#行
  $	最后一行
  /pattern/	被此模式匹配到的每一行
  m,n	从第m行到第n行
  m,+n	从第m行到m+n行
  /pat1/,/pat2/	从模式1的行到模式2的行
  m,/pat1/	从第m行到被模式1匹配的行
  ~	步进

• 编辑命令

  命令	选项
  d	删除模式空间的行，并开启下一行
  p	打印当前模式匹配的行，追加到指定行之后
  a [\]text	在指定的行后面追加文本，\用于读特殊符号转义，\n换行实现多行文本追加
  i [\]text	在指定的行之前追加文本
  c [\]text	把指定的行替换为text文本
  w FILE	保存模式匹配的行到FILE文件
  r FILE	读取指定文件的行到模式空间中，匹配到指定行后
  !	模式空间的行取反处理
  =	为模式空间的行打印行号

  sed用法示例如下：

  #示例一：sed默认会对没有处理的行自动打印，对要处理的行再次处理一次
  [root@xuzhichao ~]# seq 1 5 | sed '2p'
  1
  2
  2
  3
  4
  5
  
  #示例二：-n选项，会把没有处理的内容不输出到屏幕
  [root@xuzhichao ~]# seq 1 5 | sed -n '2p'
  2
  
  #示例三：sed的地址定界功能
  [root@xuzhichao ~]# sed -n '/^root/,/^bin/p' /etc/passwd
  root:x:0:0:root:/root:/bin/bash
  bin:x:1:1:bin:/bin:/sbin/nologin
  rooter:x:1002:1002::/home/rooter:/bin/bash
  [root@xuzhichao ~]# sed -n '/^root\>/,/^bin/p' /etc/passwd
  root:x:0:0:root:/root:/bin/bash
  bin:x:1:1:bin:/bin:/sbin/nologin
  
  #示例四：sed的地址定界功能
  [root@xuzhichao ~]# sed -n '2p' /etc/passwd
  bin:x:1:1:bin:/bin:/sbin/nologin
  [root@xuzhichao ~]# sed -n '2,3p' /etc/passwd
  bin:x:1:1:bin:/bin:/sbin/nologin
  daemon:x:2:2:daemon:/sbin:/sbin/nologin
  [root@xuzhichao ~]# sed -n '2,+1p' /etc/passwd
  bin:x:1:1:bin:/bin:/sbin/nologin
  daemon:x:2:2:daemon:/sbin:/sbin/nologin
  [root@xuzhichao ~]# sed -n '/^root\>/,3p' /etc/passwd
  root:x:0:0:root:/root:/bin/bash
  bin:x:1:1:bin:/bin:/sbin/nologin
  daemon:x:2:2:daemon:/sbin:/sbin/nologin
  
  #示例五：打印奇数行和偶数行
  [root@xuzhichao ~]# seq 6 | sed -n '1~2p'
  1
  3
  5
  [root@xuzhichao ~]# seq 6 | sed -n '2~2p'
  2
  4
  6
  
  #示例六：-e选项，同时实现多个选项
  [root@xuzhichao ~]# seq 5 | sed -n -e '2p' -e '4p'
  2
  4
  
  #示例七：d选项，删除，不加地址定界会删除全部内容，与-n选项合用也会删除全部内容
  [root@xuzhichao ~]# seq 5 | sed 'd'
  [root@xuzhichao ~]# seq 5 | sed -n '4d'
  [root@xuzhichao ~]# seq 5 | sed '1,4d'
  2
  3
  5
  
  #示例八：!的取反功能
  [root@xuzhichao ~]# seq 5 | sed -n '4!p'
  1
  2
  3
  5
  [root@xuzhichao ~]# seq 5 | sed '4!d'
  4
  
  #示例九：显示行号
  [root@xuzhichao ~]# sed -n '/root/=' /etc/passwd
  1
  10
  39
  40
  [root@xuzhichao ~]# sed -n -e '/root/=' -e '/root/p' /etc/passwd
  1
  root:x:0:0:root:/root:/bin/bash
  10
  operator:x:11:0:operator:/root:/sbin/nologin
  39
  admroot:x:1001:1001::/home/admroot:/bin/bash
  40
  rooter:x:1002:1002::/home/rooter:/bin/bash
  
  #示例十：a选项追加内容
  [root@xuzhichao ~]# seq 5 | sed '2,4a\ =======\n\ ======='
  1
  2
   =======    <==空格后跟多个等号=
   =======
  3
   =======
   =======
  4
   =======
   =======
  5
  
  #示例十一：a追加的用法：在~/.bashrc文件中增加两个别名项。
  [root@xuzhichao ~]# cat ~/.bashrc
  # .bashrc
  # User specific aliases and functions
  
  alias rm='rm -i'
  alias cp='cp -i'
  alias mv='mv -i'
  
  # Source global definitions
  if [ -f /etc/bashrc ]; then
  	. /etc/bashrc
  fi
  
  [root@xuzhichao ~]# sed '/specific/aalias cdnet="cd /etc/sysconfig/network-scripts/"\nalias p=poweroff' ~/.bashrc
  # .bashrc
  # User specific aliases and functions
  alias cdnet="cd /etc/sysconfig/network-scripts/"
  alias p=poweroff
  
  alias rm='rm -i'
  alias cp='cp -i'
  alias mv='mv -i'
  
  # Source global definitions
  if [ -f /etc/bashrc ]; then
  	. /etc/bashrc
  fi
  
  #示例十二：i选项用于在指定行前面增加内容
  [root@xuzhichao ~]# seq 5 | sed  '2iabc\nefg'
  1
  abc
  efg
  2
  3
  4
  5
  
  #示例十三：c选项用于替换指定行的内容
  [root@xuzhichao ~]# seq 5 | sed  '1,2cabc\nefg'
  abc
  efg
  3
  4
  5
  
  #示例十四：w选项可以保存指定行到一个文件中
  [root@xuzhichao ~]# seq 5 | sed -n '2,4wf1'
  [root@xuzhichao ~]# cat f1
  2
  3
  4
  
  #示例十五：r选项可以读取指定的文件内容追加到指定的行后
  [root@xuzhichao ~]# cat f2
  1
  2
  3
  [root@xuzhichao ~]# seq 4 6 | sed '3r f2'
  4
  5
  6
  1
  2
  3
  
  #示例十六：-i选项可以直接修改原始文件，-i.bak可以先备份原始文件，然后再修改原始文件
  [root@xuzhichao ~]# cat f2
  1
  2
  3
  [root@xuzhichao ~]# sed -i '2aabc' f2
  [root@xuzhichao ~]# cat f2
  1
  2
  abc
  3
  [root@xuzhichao ~]# sed -i.bak '2aabc' f2
  [root@xuzhichao ~]# cat f2
  1
  2
  abc
  abc
  3
  [root@xuzhichao ~]# cat f2.bak
  1
  2
  abc
  3
  

1.2 搜索替换

sed可以实现搜素替换功能，比较常用，命令格式为：

[address]s/pattern/replacement/flags

[address]：代表地址定界；
pattern：指的是需要替换的内容，支持正则表达式；
replacement：指的是要替换的新内容，支持后向引用；
其中/可以换为@或#，即s@@@或s###；

常用的flags意义如下：

flags	说明，
g	对一行中的数据匹配到的内容全部进行替换，如果没有 g，则只会对匹配到的第一个数据做替换操作。
p	打印替换命令中被pattern模式匹配到的行，此标记通常与 -n 选项一起使用
n	1~512 之间的数字，表示要替换第几次被模式匹配到的字符串，例如，一行中有 3 个 A，但用户只想替换第二个 A，则n为2
w file	将缓冲区中的内容写到指定的 file 文件中
&	后向引用，表示对[address]s/pattern/replacement/flags中的pattern匹配的内容进行引用
\n	后向引用，表示对pattern中的内容匹配的第 n 个小括号分组匹配中的内容进行引用。
\	用于转义特殊字符

sed搜索替换相关的使用示例如下：

#示例一：sed的搜索替换如果不加flag，默认只对一行中匹配的地址pattern进行替换；
#使用数字n可以指定对第n个匹配到的pattern进行替换；
#使用g会对所有匹配到的pattern进行替换；
[root@xuzhichao ~]# echo "root root root" | sed 's/root/admin/'
admin root root
[root@xuzhichao ~]# echo "root root root" | sed 's/root/admin/2'
root admin root
[root@xuzhichao ~]# echo "root root root" | sed 's/root/admin/g'
admin admin admin

#示例二：w选项，会把匹配到的行写入文件中；
#注意：仅仅会把pattern匹配到的行写入文件中，而且是被替换之后；
[root@xuzhichao ~]# seq 5 | sed -n 's/1/11/w f1'
[root@xuzhichao ~]# cat f1
11

#示例三：&的应用：不需要使用分组（），会对pattern匹配到的所有内容进行引用
[root@xuzhichao ~]# echo "root root root" | sed 's/root/&er/g'
rooter rooter rooter

#示例四：把/etc/default/grub的第六行之后增加single单用户模式
[root@xuzhichao ~]# cat /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet net.ifnames=0"
GRUB_DISABLE_RECOVERY="true"
[root@xuzhichao ~]# sed '/GRUB_CMDLINE_LINUX/s/"$/ single&/' /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto spectre_v2=retpoline rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet net.ifnames=0 single"
GRUB_DISABLE_RECOVERY="true"

#示例五：取路径的基名和文件夹名
#basename命令用于取文件路径中的文件名
#dirname命令用于取文件路径中的目录名
[root@xuzhichao ~]# echo "/etc/httpd/conf/httpd.conf" | sed -r 's@(^.*/)([^/]+/?$)@\1@'
/etc/httpd/conf/
[root@xuzhichao ~]# echo "/etc/httpd/conf/httpd.conf" | sed -r 's@(^.*/)([^/]+/?$)@\2@'
httpd.conf
[root@xuzhichao ~]# basename /etc/httpd/conf/httpd.conf
httpd.conf
[root@xuzhichao ~]# dirname /etc/httpd/conf/httpd.conf
/etc/httpd/conf

#示例六：删除/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
[root@xuzhichao ~]# sed -r 's/^[[:space:]]+(.*)/\1/' /etc/grub2.cfg

#示例七：注释/etc/fstab中的所有行
[root@xuzhichao ~]# sed -r 's/.*/#&/' /etc/fstab
[root@xuzhichao ~]# sed -r 's/^[^#]+/#&/' /etc/fstab 

#示例八：把/etc/httpd/conf/httpd.conf文件中所有注释行删除，grep -v "^$"用于删除空行
[root@xuzhichao ~]# sed -r 's/^[[:space:]]*#.*//' /etc/httpd/conf/httpd.conf | grep -v "^$"

#示例九：使用sed取出ifconfig中的本机ip地址
[root@xuzhichao ~]# ifconfig eth0 | sed -r '2!d;s/.*inet (.*) netmask.*/\1/'
192.168.20.17 

#示例十：对centos中光盘所有rpm包基于cpu架构（倒数第二个字段）统计并排序
[root@xuzhichao ~]# ls /misc/cd/Packages/*.rpm | tr -s ' ' '\n' | sed -r 's/^.+\.([^.]+)\.rpm$/\1/' | sort | uniq -c | sort -rn
[root@xuzhichao ~]# ls /misc/cd/Packages/*.rpm | tr -s ' ' '\n' | awk -F. '{print $(NF-1)}' | sort | uniq -c | sort -rn
[root@xuzhichao ~]# ls /misc/cd/Packages/*.rpm | tr -s ' ' '\n' | rev | cut -d. -f 2 | rev | sort | uniq -c | sort -rn
   4649 x86_64
   3154 noarch
   2267 i686

#示例十一：统计/etc/init.d/functions中单词总数
#处理思路：单词只包括字符串中包含字母，数字，其他字符都是单词的分隔符
[root@xuzhichao ~]# cat /etc/init.d/functions | tr -s " " | sed -r 's/[^[:alnum:]]/\n/g' | wc -l

1.3 sed高级用法

sed命令在处理数据时的缓存区有模式空间和保持空间两个空间，利用这两个空间可以实现一些高级编辑功能。

sed命令的以下子命令意义如下：

命令	意义
P	同 d 和 D 之间的区别一样，P（大写）命令和单行打印命令 p（小写）不同，对于具有多行数据的模式空间来说，它只会打印模式空间中的第一行，也就是首个换行符之前的所有内容；p会打印模式空间的所有内容
h	将模式空间中的内容复制到保持空间
H	将模式空间中的内容附加到保持空间
g	将保持空间中的内容复制到模式空间
G	将保持空间中的内容附加到模式空间
x	交换模式空间和保持空间中的内容
n	读取匹配到的行的下一行覆盖至模式空间
N	将匹配到的行的下一行文本内容添加到模式空间已有数据之后（之间用换行符分隔），从而使前后两个文本行同时位于模式空间中，sed 命令会将这两行数据当成一行来处理。
d	删除模式空间的行，然后读取下一行继续删除
D	其作用是只删除缓冲区中的第一行，即将缓冲区中第一个换行符（包括换行符）之前的内容删除掉。

高级用法使用示例：

#示例一：使用sed匹配2，然后把2和2的下一行3读入模式空间中，把换行符替换为空格
[root@xuzhichao ~]# seq 5 | sed '/2/{N;s/\n/ /}'
1
2 3
4
5
[root@xuzhichao ~]# seq 5 | sed '{N;s/\n/ /}'
1 2
3 4
5

#示例二：
#查找字符串2，然后把2和2的下一行3读入模式空间，在模式空间中匹配2，匹配到后把第一个换行前的内容删除
[root@xuzhichao ~]# seq 5 | sed '/2/{N;/2/D}'
1
3
4
5

#示例三：查找字符串2，然后把2和2的下一行3读入模式空间，在模式空间中匹配2，匹配到后把模式空间所有内容删除
[root@xuzhichao ~]# seq 5 | sed '/2/{N;/2/d}'
1
4
5
[root@xuzhichao ~]# seq 5 | sed '/2/{N;d}'
1
4
5

#示例四：一次读取两行到模式空间，第一读取前两行，匹配到2，删除1；第二次读取第2行和第3行，匹配到2，把2删除。
[root@xuzhichao ~]# seq 5 | sed 'N;/2/D'
3
4
5
[root@xuzhichao ~]# seq 5 | sed 'N;/3/D'
1
2
4
5

#示例五：sed命令一次读取两行，第一次读取前两行，输出换行符之前的内容，即1，然后sed自动把模式空间内容输出，接着读取第3行和第4行，依次类推。
[root@xuzhichao ~]# seq 5 | sed 'N;P'
1
1
2
3
3
4
5
[root@xuzhichao ~]# seq 5 | sed 'N;p'
1
2
1
2
3
4
3
4
5

#示例六：打印奇数行和偶数行
[root@xuzhichao ~]# seq 5 | sed  'n;d'
1
3
5
[root@xuzhichao ~]# seq 5 | sed -n 'n;p'
2
4

#示例七：倒序显示tac，实现步骤如下
#1、读取第1行内容1，1!G不匹配第一行，h把1放入保持空间，$!d把不是最后一行的模式空间内容清空，此时保持空间为1；
#2、读取第2行内容2，1!G把1追加到模式空间，h把2\n1放入保持空间，$!d把不是最后一行的模式空间内容清空，此时保持空间为2\n1;
#3、依次类推，当最后一行读入时，模式空间不会清空，直接打印出来即为倒序显示；
[root@xuzhichao ~]# seq 5 | sed '1!G;h;$!d'
5
4
3
2
1
[root@xuzhichao ~]# seq 5 | sed -n '1!G;h;$p'
5
4
3
2
1

#示例八：取最后一行
[root@xuzhichao ~]# seq 5 | sed 'N;D'
5
[root@xuzhichao ~]# seq 5 | sed '$!d'
5

#示例九：取最后两行
[root@xuzhichao ~]# seq 5 | sed '$!N;$!D'
4
5

#示例十：每行后追加空行
[root@xuzhichao ~]# seq 5 | sed 'G'
1

2

3

4

5