grep、cut、awk、sed 常常应用在查找日志、数据、输出结果等等,并对我们想要的数据进行提取。
通常grep,sed命令是对行进行提取,cut跟awk是对列进行提取

处理海量数据之grep命令

grep应用场景:

通常对数据进行 行的提取

语法:

grep [选项]...[内容]...[file]

-v #对内容进行取反提取

-n #对提取的内容显示行号(原文件中对应行号)

-w #精确匹配

-i #忽略大小写

^ #匹配开头行首

-E #正则匹配

系统文件进行实例演示:

1. 提取是区分大小写的提取

2. -v 提取上述以外的内容

-w  全字符匹配

-i

^ 开头

-E  正则

处理海量数据之cut命令

cut应用场景:

通常对数据进行列的提取

语法:

cut [选项]...[file]

-d #指定分割符
-f #指定截取区域
-c #以字符为单位进行分割

注意:不加-d选项,默认为制表符,不是空格

仍然以系统文件为实例

-d与-f:
eg:

以':'为分隔符,截取出/etc/passwd的第一列跟第三列
cut -d ':' -f 1,3 /etc/passwd

eg:

以':'为分隔符,截取出/etc/passwd的第一列到第三列
cut -d ':' -f 1-3 /etc/passwd

eg:

以':'为分隔符,截取出/etc/passwd的第二列到最后一列
cut -d ':' -f 2- /etc/passwd

-c:
eg:

截取/etc/passwd文件从第二个字符到第九个字符

cut -c 2-9 /etc/passwd

eg:

截取linux上面所有可登陆普通用户

/bin/bash #代表可以登录的用户
        /sbin/nologin #代表不可以登录的用户

grep '/bin/bash' /etc/passwd | cut -d ':' -f 1 | grep -v root

cut -d ':' -f 1--------第一列代表所有用户

-v #对内容进行取反提取

处理海量数据之awk命令

awk的简介:

其实一门编程语言,支持条件判断,数组,循环等功能,与grep,sed被称为  linux三剑客

awk的应用场景:

通常对数据进行  列的提取           先执行条件再执行动作

语法:
awk '条件 {执行动作}'文件名

awk '条件1 {执行动作} 条件2 {执行动作} ...' 文件名

或awk [选项] '条件1 {执行动作} 条件2 {执行动作} ...' 文件名

特殊要点与举例说明:
printf #格式化输出,不会自动换行。
( %ns:字符串型,n代表有多少个字符;
     %ni:整型,n代表输出几个数字;
     %.nf:浮点型,n代表的是小数点后有多少个小数)

print #打印出内容,默认会自动换行

\t #制表符(tab键 )
\n #换行符

eg:

注意:%s 是字符串  %i 是整形

df -h  磁盘空间分区使用率

df -h |grep /dev/vda1 | awk '{printf "/dev/vda1的使用率是:"} {print $5 }'

与之前传参不同: $1 #代表第一列   $2 #代表第二列   $0 #代表一整行

%.nf:浮点型,n代表的是小数点后有多少个小数    \n换行

小数:echo "scale=2; 0.13 + 0.1" | bc | awk '{printf "%.2f\n", $0}'

-F #指定分割符
eg:cat /etc/passwd | awk -F":" '{print $1}'

以:为分隔符打印出第一列

另一种方式

BEGIN     #在读取所有行内容前就开始执行,常常被用于修改内置变量的值
FS           #BEGIN时定义分割符

eg:cat /etc/passwd | awk 'BEGIN {FS=":"} {print $1}'

END #结束的时候 执行   (在最后的时刻才会执行)

NR #行号

eg:df -h | awk 'NR==2 {print $5}'

打印多行:

打印行数

处理海量数据之sed命令

sed的应用场景:(只更改输出  不会对源文件进行操作)

主要对数据进行处理(选取,新增,替换,删除,搜索)

sed语法:

sed [选项] [动作] 文件名

常见的选项与参数:

-n   #把匹配到的行输出打印到屏幕
p    #以行为单位进行查询,通常与-n一起使用

eg:

df -h | sed -n '2p'

d #删除  (只是打印的内容看不见  并不是对原文件删除)
eg:

sed '2d' df.txt

源文件保留

a #在行的下面插入新的内容
eg: sed '2a 1234567890' df.txt

i #在行的上面插入新的内容
eg: sed '2i 1234567890' df.txt

c #替换
eg: sed '2c 1234567890' df.txt

s/要被取代的内容/新的字符串/g #指定内容进行替换

-i #对源文件进行修改(高危操作,慎用,用之前需要备份源文件)

修改 不打印

搜索:(同grep)

在文件中搜索内容   '/100%/p'
eg:

cat -n df.txt | sed -n '/100%/p'

-e #表示可以执行多条动作    (注意)
eg:

cat -n df.txt | sed -n -e 's/100%/100%-----100%/g' -e '/100%-----100%/p'

处理海量数据的grep、cut、awk、sed 命令的更多相关文章

  1. 无法绕开的cut, awk, sed命令

    linux命令的选项和选项后面的值的方式: 如果用 短选项, 选项值就放在短选项的后面, 如果用长选项, 值就用等于的方式. 最重要的是, 短选项后面的值, 跟短选项之间, 可以用空格, 也可以紧接着 ...

  2. awk sed 命令

    awk awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大. 简单来说awk就是把文件逐行的读入,以 空格或TAB 为默认分隔符 将每行 ...

  3. Linux进阶命令-sort、uniq、 cut、sed、grep、find、awk

    命令难度总体来说有简入难,参数都是工作中常常用到的.如果涉及到一些生僻的参数还请百度或man一下. sort(参考学习网站:http://www.cnblogs.com/dong008259/arch ...

  4. Linux高级命令-sort、uniq、 cut、sed、grep、find、awk

    sort(参考学习网站:http://www.cnblogs.com/dong008259/archive/2011/12/08/2281214.html) 功能:根据不同的数据类型进行排序 格式:s ...

  5. 获取文本中你须要的字段的 几个命令 grep awk cut tr sed

    1,grep 2,awk 3,cut 4,tr 5,sed 实例1 获取本地IP地址 /sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v ine ...

  6. Linux查找命令:grep,awk,sed

    grep grep (global search regular expression(RE) and print out the line,全面搜索正则表达式并把行打印出来)是一种强大的文本搜索工具 ...

  7. [Shell]字符截取命令:cut, printf, awk, sed

    ------------------------------------------------------------------------------------------- [cut命令] ...

  8. Linux中的高级文本处理命令,cut命令,sed命令,awk命令

    1.2.1 cut命令 cut命令可以从一个文本文件或者文本流中提取文本列. cut语法 [root@www ~]# cut -d'分隔字符' -f fields    ## 用于有特定分隔字符 [r ...

  9. Linux进阶之正则,shell三剑客(grep,awk,sed),cut,sort,uniq

    一.正则表达式:Regular Expression 正则表达式:正则表达式使用单个字符串来描述.匹配一系列符合某个句法规则的字符串.在很多文本编辑器里,正则表达式通常被用来检索.替换那些符合某个模式 ...

随机推荐

  1. Shiro的基本使用

    目录 前言 Shiro的介绍 Shiro功能 补充 HelloWorld 依赖包: 示例代码 代码解析 对于shiro.ini: 对于ShiroDemo.java: 补充 一些概念 Realm 认证 ...

  2. Win10导出查看删除已安装的证书

    1.控制面板中搜索证书 2.点击管理用户证书或管理计算机证书,即可查看所有安装好的证书 3.双击即可查看证书,右键证书即可删除无效的证书 4.搜索证书,比如百度用到的根证书是GlobalSign Ro ...

  3. 物联网架构成长之路(37)-基于C#开发串口工具

    0. 前言 作为物联网平台开发,最基础的工具链还是要有的.前几篇博客,介绍了用C#开发一个MQTT的客户端,用于模拟设备连接平台,并发送数据到平台.但是对于一些硬件来说,可能会用到串口uart来发送数 ...

  4. jwt入门

    JWT(JSON Web Token)是一个非常轻巧的规范,这个规范允许我们使用JWT在用户和服务器之间传递安全可靠的信息,通常使用在HTTP通信过程中进行身份认证. 我们知道,HTTP通信是无状态的 ...

  5. 在IT产品白皮书中遇到的缩略词

    在IT产品白皮书中遇到的缩略词 更新中...

  6. Spring源码系列 — 构造和初始化上下文

    探索spring源码实现,精华的设计模式,各种jdk提供的陌生api,还有那么点黑科技都是一直以来想做的一件事!但是读源码是一件非常痛苦的事情,需要有很大的耐心和扎实的基础. 在曾经读两次失败的基础上 ...

  7. [转载].NET ASP.NET 中web窗体(.aspx)利用ajax实现局部刷新

    之前开发的一套系统中用到了大量的 checkboxList 控件,但是每次选定之后都会刷新整个页面,用户体验很差,百度了之后查到这篇文章,尝试了一下可以实现,所以转载了过来,记录一下,也给其他有相同困 ...

  8. Mvc 入门及基础了解

    用于表示一种软件架构模式.它把软件系统分为三个基本部分 _模型(Model), _视图(View) _和控制器(Controller). 其中主要代码是 路由 配置默认的路径: 默认配置 是 Home ...

  9. js函数定义及一些说明

    1.javascript定义函数的三种方法一.function语句//这个方法比较常用function fn(){ alert("这是使用function语句进行函数定义");}f ...

  10. Mysql、Oracle、SQLServer等数据库参考文档免费分享下载

    场景 MySQL 是最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统 ...