《linux 文本处理》- sed/awk
一:sed 行文本处理
- 基本概念
- sed 用于处理单行文本
- sed 命令本身不会修改源文件,只是处理文件"流"的内容。
- 如果需要修改源文件,请使用 -i 或者 重定向 文件。
- 使用场景
- 文件过大,编辑困难
- 有规律的修改大部分内容
- 修改
基本语法 sed [operation] file
- s 查找替换
sed -e ’s/待修改内容/修改内容/g' demo.txt g 代表全局替换,如果不使用 g ,则只会修改第一个发现的e 代表简单输出文件,如果需要修改源文件,请使用 -i
- s 查找替换
- y 字符转换
sed -e 'y/待修改字符/修改字符/' demo.txt e 代表简单输出文件,如果需要修改源文件,请使用 -i 注意: 转换字符长度要和被转换长度相同 例如: sed -i 'y/56/xf/' demo.txt 5 转换 x, 6 转换 f
- y 字符转换
- 删除
基本语法 sed -i '行' 文件
示例 删除 第一行 sed -i '1d' demo.txt 删除 第一行至第三行 sed -i ‘,3d’ demo.txt
- 插入
基本语法 sed -I ‘行 位置 内容' 文件
示例: demo.txt 文件的 第二行之前插入一行,内容为 insert sed -i '2 i insert' demo.txt i 表示匹配行之前插入,a 匹配行之后插入
二:awk 列文本处理
- 简介
- awk 列文本处理
- 原理是将文本读出,进行域的切分,所以在 awk 中,文本是有域的概念的
- 输出指定 域 的内容
- 先看一条 nginx 日志
/Oct/::: +] 123.124.16.83 192.168.240.255
- 在 awk 中,默认是以 空格 来进行 域 的切分的,
- 先看一条 nginx 日志
按照切分逻辑 $ 123.124.16.83 $ - $ - $ [/Oct/::: .... SO $ 状态码
- 所以,按照域的切分规则,输出对应的内容
打印对应的 $awk {print $}' access_log 123.124.16.83
- 所以,按照域的切分规则,输出对应的内容
- 指定域的分隔符
- 当然,我们也可以使用 -F 来指定域的分割符,来进行域的切分
awk -F 'HTTP' '{print $1}' access_log
123.124.16.83 - - [10/Oct/2018:10:24:56 +0800] "GET /static/favicon.ico
- 确定域个数
- 在上面的文本中,可能有多个域,可用通过 NF 变量来确定域的个数
awk '{print NF}' access_log
- 打印固定域
- 通过打印 NF 的值,来确定对应域的值
打印最后一个域的值 awk '{print $NF}' access_log 打印倒数第二个域的值 awk '{print $(NF - 1)}' access_log
《linux 文本处理》- sed/awk的更多相关文章
- Sed&awk笔记之sed篇
http://blog.csdn.net/a81895898/article/details/8482387 Sed是什么 <sed and awk>一书中(1.2 A Stream Ed ...
- linux sed awk seq 正则使用 截取字符 之技巧
[root@room9pc01 ~]# seq 5 1 2 3 4 5 [root@room9pc01 ~]# seq 2 5 2 3 4 5 seq 1 2 10 1 3 5 7 9 [root@d ...
- 1.Sed | Awk | Grep | Find
1.Sed | Awk | Grep | Find 可以参考的文档链接 CentOS7 查看 当前机器 已经启动的端口的Shell命令: netstat -lntup | awk -F' ' {'pr ...
- Sed&awk笔记之sed篇(转)
Sed是什么 <sed and awk>一书中(1.2 A Stream Editor)是这样解释的: Sed is a "non-interactive" strea ...
- [svc]linux正则实战(grep/sed/awk)
企业实战: 过滤ip 过滤出第二行的 192.168.2.11. eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 ine ...
- linux三剑客grep|sed|awk实践
最好先学习正则表达式的基本用法,以及正则表达式BREs,EREs,PREs的区别 此坑待填 grep sed awk
- Linux三剑客grep/sed/awk
grep/sed/awk被称为linux的“三剑客” grep更适合单纯的查找或匹配文本: sed更适合编辑匹配到的文本: awk更适合格式化文本,对文本进行较复杂各式处理: Grep --color ...
- 【转帖】vim/sed/awk/grep等文件批处理总结
vim/sed/awk/grep等文件批处理总结 https://www.cnblogs.com/cangqiongbingchen/p/9760544.html Vim相关操作 1.基础 * 和 # ...
- sed & awk 概述
概述 一般情况下,从grep到sed和awk的学习过程是很自然的.sed和awk是一般用户.程序员和系统管理员们处理文本文件的有力工具. sed的名字来源于其功能,它是个字符流编辑器(stream e ...
- sed awk grep三剑客常用
sed的常用用法: awk的常用用法: grep的常用用法: 除了列出符合行之外,并且列出后10行. grep -A 10 Exception kzfinance-front.log 除了列出符合行之 ...
随机推荐
- Android开发(二十一)——自动更新
参考: [1] Android应用自动更新功能的代码实现.http://www.cnblogs.com/coolszy/archive/2012/04/27/2474279.html
- Java面向对象的基本概念(对象、封装、继承、多态、抽象、接口、泛型)
对象:是一个自包含的实体,用一组可识别的特征和行为来标识. 类:具有相同的属性和功能的对象的抽象合集.(类关键字class,首字母大写). 实例:就是一个真实的对象. 实例化:创建对象的过程,关键字是 ...
- duilib进阶教程 -- 图片和文字的位置调整 (5)
已经有8个晚上没写教程啦,因为之后遇到了一些问题,主要是TreeView控件的问题,这个问题搞了几个晚上,然后还需要调试代码才能知道它的用法,虽然能够调试出来,但毕竟没什么含金量,只是重复劳动而已,相 ...
- [Model] GoogLeNet
主要就是对Inception Module的理解 网络结构分析 没有densy layer竟然,这是给手机上运行做铺垫么. 一个新型的模块设计: [不同类型的layer并行放在了一起] 最初的设计: ...
- Hbase学习之windows单机版搭建
1. 下载hadoop-common-2.2.0-bin-master hbase-1.0.2 并解压 2. 配置 修改 三个个环境变量 2.1 JAVA_HOME(如果没有配置请先配置 确保电 ...
- web站点健康检测和告警小脚本
#!/bin/sh web01="http://172.18.52.xx:8080/web/api/getTime" web02="http://172.18.52.xx ...
- js将图片转换为base64
直接上代码: var img = "imgurl";//imgurl 就是你的图片路径 function getBase64Image(img) { var canvas = do ...
- python数据类型之pandas—DataFrame
DataFrame定义: DataFrame是pandas的两个主要数据结构之一,另一个是Series —一个表格型的数据结构 —含有一组有序的列 —大致可看成共享同一个index的Series集合 ...
- CentOS 7.4下使用yum安装MySQL5.7.20 最简单的 (引用)
引用 https://blog.csdn.net/z13615480737/article/details/78906598 CentOS7默认数据库是mariadb, 但是 好多用的都是mysql ...
- 文本分类学习 (八)SVM 入门之线性分类器
SVM 和线性分类器是分不开的.因为SVM的核心:高维空间中,在线性可分(如果线性不可分那么就使用核函数转换为更高维从而变的线性可分)的数据集中寻找一个最优的超平面将数据集分隔开来. 所以要理解SVM ...