一:sed 行文本处理

  • 基本概念

    • sed 用于处理单行文本
    • sed 命令本身不会修改源文件,只是处理文件"流"的内容。
    • 如果需要修改源文件,请使用 -i  或者 重定向 文件。
  • 使用场景

    • 文件过大,编辑困难
    • 有规律的修改大部分内容
  • 修改

    • 基本语法
          sed [operation] file
    • s 查找替换

      • sed -e ’s/待修改内容/修改内容/g' demo.txt
        
        g 代表全局替换,如果不使用 g ,则只会修改第一个发现的e 代表简单输出文件,如果需要修改源文件,请使用 -i
    • y 字符转换

      • sed -e 'y/待修改字符/修改字符/' demo.txt
        
        e 代表简单输出文件,如果需要修改源文件,请使用 -i
        
        注意:  转换字符长度要和被转换长度相同  例如: sed -i 'y/56/xf/' demo.txt   5 转换 x, 6 转换 f
  • 删除
    • 基本语法
          sed -i  '行' 文件
    • 示例
          删除 第一行
          sed  -i  '1d' demo.txt
      
          删除 第一行至第三行
          sed -i ‘,3d’ demo.txt
  • 插入
    • 基本语法
          sed -I ‘行 位置 内容' 文件
    • 示例:
          demo.txt 文件的 第二行之前插入一行,内容为 insert
          sed -i '2 i insert' demo.txt
      
          i 表示匹配行之前插入,a 匹配行之后插入

二:awk 列文本处理

  • 简介

    • awk 列文本处理
    • 原理是将文本读出,进行域的切分,所以在 awk 中,文本是有域的概念的
  • 输出指定 域 的内容

    • 先看一条 nginx 日志

      • /Oct/::: +]    123.124.16.83 192.168.240.255
    • 在 awk 中,默认是以 空格 来进行 域 的切分的,
      • 按照切分逻辑
        $   123.124.16.83
        $   -
        $   -
        $   [/Oct/:::
        ....
        SO
        $   状态码
        
    • 所以,按照域的切分规则,输出对应的内容

      • 打印对应的 $awk {print $}'  access_log
        123.124.16.83
  • 指定域的分隔符
    • 当然,我们也可以使用 -F 来指定域的分割符,来进行域的切分
    • awk -F 'HTTP' '{print $1}'  access_log
      
      123.124.16.83 - - [10/Oct/2018:10:24:56 +0800] "GET /static/favicon.ico 
  • 确定域个数

    • 在上面的文本中,可能有多个域,可用通过  NF 变量来确定域的个数
    • awk '{print NF}' access_log
      
  • 打印固定域

    • 通过打印 NF 的值,来确定对应域的值
    • 打印最后一个域的值
          awk '{print $NF}' access_log
      
      打印倒数第二个域的值
           awk '{print $(NF - 1)}' access_log

《linux 文本处理》- sed/awk的更多相关文章

  1. Sed&awk笔记之sed篇

    http://blog.csdn.net/a81895898/article/details/8482387 Sed是什么 <sed and awk>一书中(1.2 A Stream Ed ...

  2. linux sed awk seq 正则使用 截取字符 之技巧

    [root@room9pc01 ~]# seq 5 1 2 3 4 5 [root@room9pc01 ~]# seq 2 5 2 3 4 5 seq 1 2 10 1 3 5 7 9 [root@d ...

  3. 1.Sed | Awk | Grep | Find

    1.Sed | Awk | Grep | Find 可以参考的文档链接 CentOS7 查看 当前机器 已经启动的端口的Shell命令: netstat -lntup | awk -F' ' {'pr ...

  4. Sed&awk笔记之sed篇(转)

    Sed是什么 <sed and awk>一书中(1.2 A Stream Editor)是这样解释的: Sed is a "non-interactive" strea ...

  5. [svc]linux正则实战(grep/sed/awk)

    企业实战: 过滤ip 过滤出第二行的 192.168.2.11. eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 ine ...

  6. linux三剑客grep|sed|awk实践

    最好先学习正则表达式的基本用法,以及正则表达式BREs,EREs,PREs的区别 此坑待填 grep sed awk

  7. Linux三剑客grep/sed/awk

    grep/sed/awk被称为linux的“三剑客” grep更适合单纯的查找或匹配文本: sed更适合编辑匹配到的文本: awk更适合格式化文本,对文本进行较复杂各式处理: Grep --color ...

  8. 【转帖】vim/sed/awk/grep等文件批处理总结

    vim/sed/awk/grep等文件批处理总结 https://www.cnblogs.com/cangqiongbingchen/p/9760544.html Vim相关操作 1.基础 * 和 # ...

  9. sed & awk 概述

    概述 一般情况下,从grep到sed和awk的学习过程是很自然的.sed和awk是一般用户.程序员和系统管理员们处理文本文件的有力工具. sed的名字来源于其功能,它是个字符流编辑器(stream e ...

  10. sed awk grep三剑客常用

    sed的常用用法: awk的常用用法: grep的常用用法: 除了列出符合行之外,并且列出后10行. grep -A 10 Exception kzfinance-front.log 除了列出符合行之 ...

随机推荐

  1. Android开发(二十一)——自动更新

    参考: [1] Android应用自动更新功能的代码实现.http://www.cnblogs.com/coolszy/archive/2012/04/27/2474279.html

  2. Java面向对象的基本概念(对象、封装、继承、多态、抽象、接口、泛型)

    对象:是一个自包含的实体,用一组可识别的特征和行为来标识. 类:具有相同的属性和功能的对象的抽象合集.(类关键字class,首字母大写). 实例:就是一个真实的对象. 实例化:创建对象的过程,关键字是 ...

  3. duilib进阶教程 -- 图片和文字的位置调整 (5)

    已经有8个晚上没写教程啦,因为之后遇到了一些问题,主要是TreeView控件的问题,这个问题搞了几个晚上,然后还需要调试代码才能知道它的用法,虽然能够调试出来,但毕竟没什么含金量,只是重复劳动而已,相 ...

  4. [Model] GoogLeNet

    主要就是对Inception Module的理解 网络结构分析 没有densy layer竟然,这是给手机上运行做铺垫么. 一个新型的模块设计: [不同类型的layer并行放在了一起] 最初的设计: ...

  5. Hbase学习之windows单机版搭建

    1. 下载hadoop-common-2.2.0-bin-master   hbase-1.0.2  并解压 2. 配置 修改 三个个环境变量 2.1 JAVA_HOME(如果没有配置请先配置 确保电 ...

  6. web站点健康检测和告警小脚本

    #!/bin/sh web01="http://172.18.52.xx:8080/web/api/getTime" web02="http://172.18.52.xx ...

  7. js将图片转换为base64

    直接上代码: var img = "imgurl";//imgurl 就是你的图片路径 function getBase64Image(img) { var canvas = do ...

  8. python数据类型之pandas—DataFrame

    DataFrame定义: DataFrame是pandas的两个主要数据结构之一,另一个是Series —一个表格型的数据结构 —含有一组有序的列 —大致可看成共享同一个index的Series集合 ...

  9. CentOS 7.4下使用yum安装MySQL5.7.20 最简单的 (引用)

    引用 https://blog.csdn.net/z13615480737/article/details/78906598 CentOS7默认数据库是mariadb, 但是 好多用的都是mysql ...

  10. 文本分类学习 (八)SVM 入门之线性分类器

    SVM 和线性分类器是分不开的.因为SVM的核心:高维空间中,在线性可分(如果线性不可分那么就使用核函数转换为更高维从而变的线性可分)的数据集中寻找一个最优的超平面将数据集分隔开来. 所以要理解SVM ...