《linux 文本处理》- sed/awk

一：sed 行文本处理

• 基本概念
  • sed 用于处理单行文本
  • sed 命令本身不会修改源文件，只是处理文件"流"的内容。
  • 如果需要修改源文件，请使用 -i  或者 重定向 文件。

• 使用场景
  • 文件过大，编辑困难
  • 有规律的修改大部分内容

• 修改

  • 基本语法
        sed [operation] file

• • s 查找替换

    • sed -e ’s/待修改内容/修改内容/g' demo.txt
      
      g 代表全局替换，如果不使用 g ,则只会修改第一个发现的e 代表简单输出文件，如果需要修改源文件，请使用 -i

• • y 字符转换

    • sed -e 'y/待修改字符/修改字符/' demo.txt
      
      e 代表简单输出文件，如果需要修改源文件，请使用 -i
      
      注意：　　转换字符长度要和被转换长度相同　　例如： sed -i 'y/56/xf/' demo.txt   5 转换 x， 6 转换 f

• 删除

  • 基本语法
        sed -i  '行' 文件

  • 示例
        删除 第一行
        sed  -i  '1d' demo.txt
    
        删除 第一行至第三行
        sed -i ‘,3d’ demo.txt

• 插入

  • 基本语法
        sed -I ‘行 位置 内容' 文件

  • 示例：
        demo.txt 文件的 第二行之前插入一行，内容为 insert
        sed -i '2 i insert' demo.txt
    
        i 表示匹配行之前插入，a 匹配行之后插入

二：awk 列文本处理

• 简介
  • awk 列文本处理
  • 原理是将文本读出，进行域的切分，所以在 awk 中，文本是有域的概念的

• 输出指定 域 的内容
  • 先看一条 nginx 日志

    • /Oct/::: +]    123.124.16.83 192.168.240.255

  • 在 awk 中,默认是以 空格 来进行 域 的切分的，

• • 按照切分逻辑
    $   123.124.16.83
    $   -
    $   -
    $   [/Oct/:::
    ....
    SO
    $   状态码
    

• • 所以，按照域的切分规则，输出对应的内容

    • 打印对应的 $awk {print $}'  access_log
      123.124.16.83

• 指定域的分隔符
  • 当然，我们也可以使用 -F 来指定域的分割符，来进行域的切分

  • awk -F 'HTTP' '{print $1}'  access_log
    

    123.124.16.83 - - [10/Oct/2018:10:24:56 +0800] "GET /static/favicon.ico 

• 确定域个数
  • 在上面的文本中，可能有多个域，可用通过  NF 变量来确定域的个数

  • awk '{print NF}' access_log
    

• 打印固定域
  • 通过打印 NF 的值，来确定对应域的值

  • 打印最后一个域的值
        awk '{print $NF}' access_log
    
    打印倒数第二个域的值
         awk '{print $(NF - 1)}' access_log