文本过滤涉及到以下知识:

正则表达式、find、grep、awk、sed、合并与分割(sort、uniq、join、cut、paste、split)。

正则表达式:

  基本元字符集及其含义:

匹配IP地址:

find:

  

示例如下:

find命令练习实例:

find和xargs一起使用:

find和grep联合使用时,find会把所有找到的条目一次性传递给grep,有多少条就开多少个进程。

grep用法:

示例如下:

grep是检索行用的。awk是检索列,sed进行字符替换。 三者经常联合使用。

grep的正则表达式模式:

grep原理总结:

awk命令:

awk有三种调用模式:

示例程序如下:

awk打印了passwd文件的第一列,-F参数表示文件中的分隔符,在本例中是冒号:,花括号里面表示打印第一列。

打印第一列和第三列,并且中间空一个制表符,如下所示:

打印第三列大于500的,如下:

grep与awk联合使用示例:

$0代表打印一整行。

带排序的grep与awk联合使用:

其中-n代表按数字方式, -k7代表按照第7列排序。

tail代表从最后一行开始取。sort加上-r表示逆序,如下:

sed提取数据,如下:

其中sed表示提取第5-10行的数据,p表示打印出来。

sed命令:

只带一个'p'表示打印所有行,包括空行。

sed后的2表示从第二行开始打印,一直打印到含有bb的行,p表示打印。

打印空行,=表示第几行,如下:

sed中的-i表示覆盖掉原来的文件,就是会对源文件进行修改。

sed的主要两个用途:

  1、按照一个范围(第几行到第几行)提取数据

  2、sed的主要用法是编辑功能,对提取的数据进行修改、替换、删除、插入等

ipcs进程间通信工具,这是一个命令,可以使用man ipcs查看其具体使用方法。  

ipcrm可以删除共享内存,如下所示:

ipcclean脚本:

4.1 shell文本过滤、find、awk、grep的更多相关文章

  1. shell之文本过滤(awk)

    shell之文本过滤(awk) 分类: linux shell脚本学习2012-09-19 15:53 1241人阅读 评论(0) 收藏 举报 shell正则表达式脚本任务语言 如果要格式化报文或从一 ...

  2. shell脚本三剑客:grep、sed、awk

    shell脚本三剑客:grep  sed  awk grep语法: grep [OPTIONS] PATTERN [FILE] 常用选项 -c                       统计匹配到的 ...

  3. 第5天(半天)【shell编程初步、grep及正则表达式】

    第5天(半天)[shell编程初步.grep及正则表达式] shell编程初步(01)_recv shell脚本:文本文件 #!:/bin/bash #!:/usr/bin/python #!:/us ...

  4. linux下的文本处理命令sed&awk&grep

    Sedsed 是个精简的.非交互式的编辑器.他能执行和编辑vi和emacs相同的编辑任务.sed编辑器不提供交互使用方式:只能在命令行输入编辑命令.指定文件名,然后在屏幕上察看输出.sed编辑器没有破 ...

  5. 1.Sed | Awk | Grep | Find

    1.Sed | Awk | Grep | Find 可以参考的文档链接 CentOS7 查看 当前机器 已经启动的端口的Shell命令: netstat -lntup | awk -F' ' {'pr ...

  6. grep查询文本:问一个简单shell问题,将grep的输出赋值给一个变量

    问一个简单shell问题,将grep的输出赋值给一个变量 用grep命令得到的输出赋值给一个变量不成功. grep命令如下: 代码: $ grep -c '^abc' file.txt 输出为22,表 ...

  7. shell编程之awk命令详解

    shell编程之awk命令详解 a:focus { outline: thin dotted #333; outline: 5px auto -webkit-focus-ring-color; out ...

  8. 【转帖】vim/sed/awk/grep等文件批处理总结

    vim/sed/awk/grep等文件批处理总结 https://www.cnblogs.com/cangqiongbingchen/p/9760544.html Vim相关操作 1.基础 * 和 # ...

  9. shell脚本基础和grep文本处理工具企业应用4

    文本处理工具:    egrep:        支持扩展的正则表达式实现类似于grep文本过滤功能:grep -E        egrep [OPTIONS] PATTERN [FILE...]  ...

随机推荐

  1. codeforces 251 div2 D. Devu and his Brother 三分

    D. Devu and his Brother time limit per test 1 second memory limit per test 256 megabytes input stand ...

  2. MongoDB (课时1,2)

    1.数据库之中支持的的SQL语句是由IBM开发出来的,使用并不麻烦,就是几个简单的单词:select, from, where,  group by, having, order by.目前最流行的数 ...

  3. 小波变化库——Pywalvets学习笔记

    笔记 术语(中英对照): 尺度函数:scaling function(又称父函数 father wavelet) 小波函数:wavelet function(又称母函数 mother wavelet) ...

  4. 数据库使用SSIS进行数据清洗教程

    OLTP系统的后端关系数据库用于存储不同种类的数据,理论上来讲,数据库中每一列的值都有其所代表的特定含义,数据也应该在存入数据库之前进行规范化处理,比如说“age”列,用于存储人的年龄,设置的数据类型 ...

  5. Spring源码的编译、下载和阅读

    原文出处: 分享牛 想对spring框架进行深入的学习一下,看看源代码,提升和沉淀下自己,工欲善其事必先利其器,还是先搭建环境吧. 环境搭建 sping源码之前是svn管理,现在已经迁移到了githu ...

  6. Elections CodeForces - 1020C (贪心)

    大意: 有n个选民, m个党派, 第i个选民初始投$p_i$一票, 可以花费$c_i$改变投票, 求最少花费使得第一个党派的票数严格最大 假设最终第一个党派得票数$x$, 枚举$x$, 则对于所有票数 ...

  7. input不记录之前输入的值

    autocomplete="off" // input中添加这个属性

  8. python 小练习 11

    桌子上有一堆数量不超过20的果子,每个果子的重量都是不超过20的正整数,全部记录在列表 L 里面.小明和小红决定平分它们,但是由于他们都太自私,没有人愿意对方比自己分得的总重量更多.而果子又不能切开, ...

  9. 贴心的vs 备注提醒功能

  10. 处理Oracle EBS R12登录首页跳转出现unexpected error问题(转)

    原文地址: 处理Oracle EBS R12登录首页跳转出现unexpected error问题 经上网搜索,造成此问题的问题有很多,如内存不足.系统参数配置不当.程序代码.系统表空间不足等原因.查询 ...