Shell编程三剑客之sed

前言
sed工具与之前讲过的grep以及awk合称为Linux三剑客,它在我们Linux系统的操作管理中是被大量使用的文本处理工具,所以学习sed是绝对必要的。

一、Sed编辑器
(1)Sed概述
sed(Stream EDitor)是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑(删除、替换、添加、移动等),最后输出所有行或者仅输出处理的某些行。
sed也可以在无交互的情况下实现相当复杂的文本处理操作,被广泛应用于Shell脚本中,用以完成各种自动化处理任务。
(2)Sed工作流程
sed 的工作流程主要包括读取、执行和显示三个过程。

读取:sed 从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space)。
执行:默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所有的行上依次执行。
显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。
在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。
注意:默认情况下所有的 sed 命令都是在模式空间内执行的,因此输入的文件并不会发生任何变,除非是用重定向存储输出。

(3)Sed基本语法

基本格式:
sed [选项] ‘操作’ 参数
sed [选项] -f scriptfile 参数

  • 常用选项
    • 常用操作

    • 二、Sed用法示例

      (1)Sed输出指定行

      • [root@youzi home]# sed -n ‘p’ passwd #输出所有行
        [root@youzi home]# sed -n ‘3p’ passwd #输出第三行
        [root@youzi home]# sed -n ‘3,5p’ passwd #输出三到五行
        root@youzi home]# sed -n ‘p;n’ passwd #输出所有奇数行
        [root@youzi home]# sed -n ‘n;p’ passwd #输出所有偶数行
        [root@youzi home]# sed -n ‘1,5{p;n}’ passwd #输出1到5行间的奇数行
        [root@youzi home]# sed -n ‘10,${n;p}’ passwd #输出第10行以后的偶数行
        [root@youzi home]# sed -n ‘2,+3p’ passwd #输出从第2行开始的连续的三行
        ————————————————
        版权声明:本文为CSDN博主「羽翔青空」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
        原文链接:https://blog.csdn.net/qq1356059950/article/details/124653502

        • 配合正则表达式输出指定行

        [root@yanjing home]# sed -n ‘/the/p’ qwe.txt #输出包含the的行
        [root@yanjing home]# sed -n ‘2,/the/p’ qwe.txt #输出从第二行开始往后第一个包含the的行为止的所有内容
        [root@yanjing home]# sed -n ‘/the/=’ qwe.txt #输出所有包含the的所有行的行号
        [root@yanjing  home]# sed -n ‘/^PI/p’ qwe.txt #输出以PI开头的行
        [root@yanjing  home]# sed -n ‘/[0-9]$/p’ qwe.txt #输出以数字结尾的行
        [root@yanjing  home]# sed -n ‘/<wood>/p’ qwe.txt #输出包含wood单词的行

        (2)插入符合条件的行

      • [root@yanjing home]# sed ‘/the/i 下面有the’ qwe.txt #在含有the的行的前面添加一行内容
        [root@yanjing home]# sed ‘/the/a 上面有the’ qwe.txt #在含有the的行的后面添加一行内容
        [root@yanjing  home]# sed ‘3a在第三行后面添加’ qwe.txt #正赛第三行后面添加一行内容
        “a”表示在当前行的后面一行添加
        当添加多行内容时,可以用\n分隔开,表示换行

        (3)删除符合条件的行

      • [root@youzi home]# sed ‘s/the/THE/’ qwe.txt #将每行中的第一个the替换为THE
        [root@youzi home]# sed ‘s/l/L/2’ qwe.txt #将每行中的第二个l替换成L
        [root@youzi home]# sed ‘s/l/L/g’ qwe.txt #将文件中的所有l都替换成L,g时全局替换
        [root@youzi home]# sed ‘s/l/ /g’ qwe.txt #将文件中的所有l都替换成空字符
        [root@youzi home]# sed ‘s/^/#/’ qwe.txt #将所有行的行首插入#
        [root@youzi home]# sed ‘/the/s/^/#/’ qwe.txt #在所有包含the的行的行首插入#
        [root@youzi home]# nl qwe.txt |sed ‘2,5s/the/THE/g’ #将三到五行中所有的the都替换成THE
        [root@youzi home]# sed ‘/the/o/O/g’ qwe.txt #将所有包含the的行中的o都替换成O

        • 先备份再修改数据

        • (4)迁移符合条件的文本

          • 常用参数
          • [root@youzi shell]# sed ‘/the/{H;d};$G’ qwe.txt #将包含the的行剪切值行尾,{;}用于多个操作,H复制,d删除,{H;d}先复制,再删除
            [root@youzi shell]# sed ‘1,5{H;d};14G’ qwe.txt #将1-5杠内容剪切到17行以后
            [root@youzi shell]# sed ‘/the/w 666.txt’ qwe.txt #将包含the的行复制另存为另一个文件
            [root@youzi shell]# sed ‘/the/r 666.txt’ qwe.txt #将文件666.txt的内容添加到所有包含the的行后
            [root@youzi shell]# sed ‘2aNew’ 666.txt #在第二行插入一行新内容
            [root@youzi shell]# sed ‘/the/aNew’ 666.txt #在所有包含the的行后插入一行新内容
            [root@youzi shell]# sed ‘2aNew\nNew2’ 666.txt #在第三行后插入多行内容

            总结

            • sed的概述,一些基本用法
            • sed常用的选项参数
            • sed的一些应用示例

Linux系统Shell脚本第六章:文件三剑客之sed的更多相关文章

  1. Linux系统Shell脚本编程

    1. shell脚本概念:C语言编写的.命令解释器.编程语言. 是用户使用linux的桥梁. shell脚本语言非常擅长处理文本类型的数据. 2. shell脚本作用:自动化管理.监控管理.日志数据处 ...

  2. Linux系统——shell脚本

    shell脚本编程 作用:通过命令行解析的方式,自动执行设定好的程序或命令代码.(若将脚本挂到定时任务中,就会自动在非工作时间里自动触发执行程序) Shell脚本文件以“.sh”结尾 规范的Shell ...

  3. Linux系统——shell脚本应用示例

    传入一个网段地址,自动找出本网段内存活的IP地址.2,将存活的IP地址当作密码来创建Linux用户,用户名格式为:你的名字_数字 3,有几个存活IP地址,就自动创建几个用户   4,最后将创建的用户名 ...

  4. Linux 用 shell 脚本 批量 导入 csv 文件 到 mysql 数据库

    前提: 每个csv文件第一行为字段名 创建的数据库字段名同csv 文件的字段名 1. 批量导入 多个 csv 文件 for file in ./*.csv;do mv $file tablename. ...

  5. linux服务器批量部署应用系统shell脚本(Tomcat/jetty)

    linux服务器批量部署应用系统shell脚本: 1.请更换代码内的服务器地址(Tomcat或jetty服务器) serverRoot=/home/undoner/java_tool/apache-t ...

  6. Linux简单Shell脚本监控MySQL、Apache Web和磁盘空间

    Linux简单Shell脚本监控MySQL.Apache Web和磁盘空间 1. 目的或任务 当MySQL数据库.Apache Web服务器停止运行时,重新启动运行,并发送邮件通知: 当服务器磁盘的空 ...

  7. Linux:从windows到linux的shell脚本编码和格式

    从windows到linux的shell脚本编码和格式问题 异常问题 :set ff=unix 启动脚本在启动时报错比如执行sh start.sh,时会报Command not found等等的错误, ...

  8. Linux/Unix shell 脚本中调用SQL,RMAN脚本

    Linux/Unix shell脚本中调用或执行SQL,RMAN 等为自动化作业以及多次反复执行提供了极大的便利,因此通过Linux/Unix shell来完成Oracle的相关工作,也是DBA必不可 ...

  9. Linux常用Shell脚本珍藏【转载】

    我们在运维中,尤其是linux运维,都知道脚本的重要性,脚本会让我们的 运维事半功倍,所以学会写脚本是我们每个linux运维必须学会的一门功课,这里收藏linux运维常用的脚本.如何学好脚本,最关键的 ...

  10. Centos7下crontab+shell脚本定期自动删除文件

    问题描述: 最近有个需求,就是rsync每次同步的数据量很多,但是需要保留的数据库bak文件 保留7天就够了,所以需要自动清理文件夹内的bak文件 解决方案: 利用shell脚本来定期删除文件夹内的任 ...

随机推荐

  1. angular--连接服务获取数据并展示到页面加载结束禁用按钮-分页加载-管道使用

  2. 用Java写一个分布式缓存——缓存管理

    前言 之前也用过一些缓存中间件,框架,也想着自己是不是也能用Java写一个出来,于是就有了这个想法,打算在写的过程中同步进行总结 源码:weloe/Java-Distributed-Cache (gi ...

  3. C# 托管堆 遭破坏 问题溯源分析

    一:背景 1. 讲故事 年前遇到了好几例托管堆被损坏的案例,有些运气好一些,从被破坏的托管堆内存现场能观测出大概是什么问题,但更多的情况下是无法做出准确判断的,原因就在于生成的dump是第二现场,借用 ...

  4. 在elasticsearch中简单的使用script_fields

    目录 1.背景 2.准备数据 2.1 mapping 2.2 插入数据 3.案例 3.1 格式化性别 1-男 2-女 -1-未知 如果不存在sex字段,则显示-- 其余的显示 ** 3.1.1 dsl ...

  5. 你知道CDN是干嘛的吗?

    theme: cyanosis 前言 几年前,我在浏览互联网时偶然发现了一个新的电子商务网站,注意到网站上的图片加载速度不快.我刷新了页面并重试了几次.终于,十秒钟后,我能够看到带有图像的渲染网页. ...

  6. linux 基础(7)账号和群组的管理

    了解账号和群组的基本信息 账号使用 如何查看 linux 计算机上有哪些账号呢?账号的信息储存在/etc/passwd中,打开就可以看到: less /etc/passwd root:x:0:0:ro ...

  7. 联邦GNN综述与经典算法介绍

    作者:京东科技 李杰 联邦学习和GNN都是当前AI领域的研究热点.联邦学习的多个参与方可以在不泄露原始数据的情况下,安全合规地联合训练业务模型,目前已在诸多领域取得了较好的结果.GNN在应对非欧数据结 ...

  8. Docker全方位攻略与自动化运维

    介绍 Docker Registry(Docker注册中心)是一个管理Docker容器镜像存储和交付的应用程序.注册中心集中容器镜像并减少开发人员的构建时间.Docker镜像通过虚拟化保证相同的运行环 ...

  9. 一个诡异的 Pulsar InterruptedException 异常

    背景 今天收到业务团队反馈线上有个应用往 Pulsar 中发送消息失败了,经过日志查看得知是发送消息时候抛出了 java.lang.InterruptedException 异常. 和业务沟通后得知是 ...

  10. 解决npm安装时出现run `npm audit fix` to fix them, or `npm audit` for details

    解决办法: 网上说遇到这种问题可能是npm需要升级,有些下载不下来, 这样就好使用: 1.删除已经安装的:node_modules 和 package-lock.json 2.在安装:npm inst ...