记录 shell学习过程(11 ) shell 对输出流的处理
语法
awk [options] [BEGIN] {program} [END] [file]
常用命令选项
-F fs 指定描绘一行中数据字段的文件分隔符 默认为空格
-f file 指定读取程序的文件名
-v var=value 定义awk程序中使用的变量和默认值
注意:awk 程序脚本由左大括号和右大括号定义。脚本命令必须放置在两个大括号之间。由于awk命令行假定脚本是单文本字符串,所以必须将脚本包
括在单引号内。
awk程序运行优先级是:
1)BEGIN: 在开始处理数据流之前执行,可选项
2)program: 如何处理数据流,必选项
3)END: 处理完数据流后执行,可选项
awk 基本用法
1.字段提取:提取一个文本中的一列数据并打印输出
字段相关内置变量
$0 表示整行文本
$1 表示文本行中的第一个数据字段
$2 表示文本行中的第二个数据字段
$N 表示文本行中的第N个数据字段
$NF 表示文本行中的最后一个数据字段
# awk '{print $0}' t.txt
1 the quick brown fox jumps over the lazy dog.
2 the quick brown fox jumps over the lazy dog.
3 the quick brown fox jumps over the lazy dog.
4 the quick brown fox jumps over the lazy dog.
# awk '{print $1}' t.txt
1
2
3
4
# awk '{print $2}' t.txt
the
the
the
the
# awk '{print $3}' t.txt
quick
quick
quick
quick
# awk '{print $NF}' t.txt
dog.
dog.
dog.
dog.
2.如何打印某一行以及某一行中的某列呢?使用NR命令
# awk 'NR==3{print $0}' t.txt
3 the quick brown fox jumps over the lazy dog.
# awk 'NR==3{print $1}' t.txt
3
# awk 'NR==3{print $2}' t.txt
the
3.如果文件中的数据并不是以空格分隔的,比如passwd中的就是以:f分隔的,此时如果需要指定分隔符可以使用 -F
awk -F ":" 'NR==1{print $1,$3,$5}' /etc/passwd #打印出passwd文件中的第一列第一行 第三行 第五行的内容
root 0 root
如果想改变上面的输出格式,可以直接修改print后面的部分
# awk -F ":" 'NR==1{print $1"-"$3"-"$5}' /etc/passwd #在$1 $3 $5之间直接增加字符串
root-0-root
4.打印内存使用信息
# head -3 /proc/meminfo
MemTotal: 2035356 kB
MemFree: 1308408 kB
MemAvailable: 1472264 kB
# head -3 /proc/meminfo | awk 'NR==1{print $2}'
2035356
awk 的优先级
BEGIN> print $0 >END
#awk 'BEGIN{print "youxianjizuigao"}{print $0}END{print "youxianjizuidi"}' t.txt
youxianjizuigao
1 the quick brown fox jumps over the lazy dog.
2 the quick brown fox jumps over the lazy dog.
3 the quick brown fox jumps over the lazy dog.
4 the quick brown fox jumps over the lazy dog.
5 the quick brown fox jumps over the lazy dog.
youxianjizuidi
BEGIN不需要数据源就可以执行,但是programe 以及 END就必须有数据源才可以执行
# awk 'BEGIN{print "buxvyaoshujuyuan"}'
buxvyaoshujuyuan
awk 高级用法
直接输出内存使用率,在awk工作时,直接给变量赋值,运算,从而直接结算出结果
# head -2 /proc/meminfo | awk 'NR==1{t=$2}NR==2{f=$2;print (t-f)*100/t "%"}'
31.101%
再来看下面 单引号和双引号要混用,否则可能会没有输出(因为引号会误认段落)
# awk 'BEGIN {name="shuangyinhao";print name}'
shuangyinhao
# awk 'BEGIN {name='danyinhao';print name}'
awk数组的用法
# awk 'BEGIN{array[0]="apple";array[1]=16;print array[0],array[1]}'
apple 16
比较运算
如果比较的是字符串则按照ascii编码顺序比较,如果结果为真返回1,假返回0
# awk 'BEGIN{print "a">="b"}' #不知为何要>= ,>会没有回显
0
逻辑判断
# seq 1 10 > num
# cat num
1
2
3
4
5
6
7
8
9
10
# awk '$1>5{print $1}' num #大于5的信息输出
6
7
8
9
10
数学运算
# awk 'BEGIN{print 1+1}'
2
逻辑运算
# awk 'BEGIN{print 100>=99 && 100>=88}' #奇怪的是只能>= >就报错
1
# awk 'BEGIN{print (100>98 && 100>99)}' #再加一组括号就不报错了
1
匹配运算
精确匹配
# awk -F: '$1=="root"{print $0}' /etc/passwd #打印第一行为root的信息
root:x:0:0:root:/root:/bin/bash
# awk -F: '$1!="root"{print $0}' /etc/passwd #打印第一行不为root的信息
模糊匹配
# awk -F: '$1 ~ "ro"{print $0}' /etc/passwd #第一行包含ro的都会被匹配到
root:x:0:0:root:/root:/bin/bash
chrony:x:997:995::/var/lib/chrony:/sbin/nologin
# awk -F: '$1 !~ "ro"{print $0}' /etc/passwd #第一行不包含ro的都会被匹配到
awk的环境变量
FIELDWIDTHS 指定列的宽度
# awk 'BEGIN{FIELDWIDTHS="5 2 8"}NR==1{print $1,$2,$3}' /etc/passwd
root: x: 0:0:root
# cat /etc/passwd | grep root
root:x:0:0:root:/root:/bin/bash
FS 定义输入字段分隔符 OFS定义输出字段分隔符
# awk 'BEGIN{FS=":";OFS="-"}$1 == "root"{print $1,$3,$5}' /etc/passwd
root-0-root
# awk 'BEGIN{RS=""}{print $1,$2,$3}' num #将num文本中的输入记录分隔符定义为任意,然后输入第1至第3列
1 2 3
# awk 'BEGIN{RS="";OFS="\t"}{print $1,$2,$3}' num #将输出的资源字段分隔符定义为\t得到以下效果
1 2 3
# awk 'BEGIN{RS="";ORS="**********"}{print $1,$2,$3}' num #将输出记录分隔符号定义为***********
1 2 3**********[root@localhost shell_16]#
awk的流程控制
# awk '{if($1>5)print $1}' num #if判断
6
7
8
9
10
# awk '{if ($1<5)print $1*2;else print$1/2}' num
2
4
6
8
2.5
3
3.5
4
4.5
5
# awk -v 'sum=0' '{sum+=$1}END{print sum }' num #-v定义变量 sum只能定义到外面否则循环时,每次都会归0
55
下面的例子 将每一行的数值累加
# cat num2
60 50 100
150 30 10
70 100 40
# awk '{sum=0;for (i=1;i<4;i++){sum+=$i} print sum}' num2 #使用for循环
210
190
210
# awk '{sum=0;i=1;while(i<4){sum+=$i;i++}print sum}' num2 #使用while循环
210
190
210
# awk '{sum=0;i=1;while(i<4){sum+=$i;if(sum>150){break}i++}print sum}' num2 #当sum>150时跳出循环
210
180
170
小技巧
# cat t.txt
1 the quick brown fox jumps over the lazy dog.
2 the quick brown fox jumps over the lazy dog.
3 the quick brown fox jumps over the lazy dog.
4 the quick brown fox jumps over the lazy dog.
5 the quick brown fox jumps over the lazy dog.
# awk 'END{print NR}' t.txt #打印文本行数
5
# awk 'END{print $0}' t.txt #打印文本最后一行内容
5 the quick brown fox jumps over the lazy dog.
# awk 'END{print NF}' t.txt #打印文本列数
10
记录 shell学习过程(11 ) shell 对输出流的处理的更多相关文章
- Linux 学习记录 四(Bash 和 Shell scirpt).
一.什么是 Shell? 狭义的shell指的是指令列方面的软件,包括基本的Linux操作窗口Bash等,广义的shell则包括 图形接口的软件,因为图形接口其实也可以操作各种驱动程序来呼叫核心进行工 ...
- 自学linux——11.shell入门
shell 基础 1.shell介绍(内置脚本) 程序开发的效率非常高,依赖于功能强大的命令可以迅速地完成开发任务(批处理) 语法简单,代码写起来比较轻松,简单易学 (1)什么是shell shell ...
- 鸟哥的私房菜:Bash shell(四)-Bash shell的使用环境
Bash shell(四)-Bash shell的使用环境 是否记得我们登入主机的时候,屏幕上头会有一些说明文字,告知我们的 Linux 版本啊什么的, 还有,登入的时候,我们还可以给予使用者一些 ...
- shell 编程 && bash 简介(shell 变量、shell操作环境、数据流重导向、管线命令、shell script)
如何学习一门编程语言 数据类型 运算符 关键字 1 认识BASH 这个shell linux是操作系统核心,用户通过shell与核心进行沟通,达到我们想要的目的.硬件.核心.用户之间的关系: 原理:所 ...
- 什么是shell? bash和shell有什么关系?
什么是shell? bash和shell有什么关系? 博客分类: Linux 什么是Shell? shell是你(用户)和Linux(或者更准确的说,是你和Linux内核)之间的接口程序 ...
- Shell学习之Shell特性(一)
Shell学习之Shell特性 目录 命令和文件自动补齐功能 命令历史记忆功能 history.上下键.!number.!string.!$.!! 别名功能 alias.unalias cp.~use ...
- Shell test 命令,Shell 输入/输出重定向
一.Shell test 命令 Shell中的 test 命令用于检查某个条件是否成立,它可以进行数值.字符和文件三个方面的测试. 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -g ...
- 什么是shell? bash和shell有什么关系?
什么是Shell? shell是你(用户)和Linux(或者更准确的说,是你和Linux内核)之间的接口程序.你在提示符下输入的每个命令都由shell先解释然后传给Linux内核. ...
- shell(shell函数、shell正则表达式)
本章内容 shell函数 shell正则表达式 1.shell函数 linux shell 可以用户定义函数,然后在shell脚本中可以随便调用. 格式: funname () { CMD #函数体 ...
- shell基础之shell相关概念
一.脚本介绍 1.脚本简单地说就是一条条的文字命令(一些指令的堆积),这些文字命令是可以看到的(如可以用记事本打开查看.编辑). 常见的脚本: JavaScript(JS,前端),VBScript, ...
随机推荐
- HTML——label标签
最近在做将input[type="file"] 改变其样式时,发现label的巨大潜力,特此记录一下. 1, label标签的作用 (1)为input元素定义标注(标记) (2)不 ...
- [红日安全]Web安全Day1 - SQL注入实战攻防
本文由红日安全成员: Aixic 编写,如有不当,还望斧正. 大家好,我们是红日安全-Web安全攻防小组.此项目是关于Web安全的系列文章分享,还包含一个HTB靶场供大家练习,我们给这个项目起了一个名 ...
- java工作流系统表单自动 获取数据
关键词:工作流快速开发平台 工作流流设计 业务流程管理 asp.net 开源工作流 bpm工作流系统 java工作流主流框架 自定义工作流引擎 表单设计器 流程设计器 什么是数据自动获 ...
- Window 系统 Excel 同时打开两个Excel 文件
问题 我们在使用 Excel 的时候,经常需要打开多个 Excel 文件,但是默认的话我们是只打开一个窗口的.这样不便于我们操作两个 Excel . 解决办法 下载这个补丁进行安装,下载链接 http ...
- Nginx-4.Nginx如何处理请求
原文 基于server_name 的虚拟站点 Nginx首先需要确定使用哪个server来处理请求.举个简单的例子,有下面几个server 第一个,监听80端口,为org站点 server { lis ...
- 字段类型(uniqueidentifier)问题
环境:SQL 2016: 语句 select * from A where PID=JoID 上述查询语句中的Where PID=JoID条件中PID的字段类型为varchar(50)而JoID的字段 ...
- vue 父子通信
节制地使用 $parent 和 $children - 它们的主要目的是作为访问组件的应急方法.更推荐用 props 和 events 实现父子组件通信
- php压缩文件zip格式并打包(单个或多个文件压缩)
最近接到一个需求,就是选择多个文件下载时,不要一个一个下载,直接把多个文件打包成一个文件进行下载.我们项目是前后端分离,所以我写了个接口,让前端传参数,后台下载. 废话不多说,直接上代码: 先是压缩单 ...
- 论文阅读笔记(二十三)【ECCV2018】:Robust Anchor Embedding for Unsupervised Video Person Re-Identification in the Wild
Introduction 当前主要的非监督方法都采用相同的训练数据集,这些数据集在不同摄像头中是对称的,即不存在单个行人的错误项,这些方法将在实际场景中效果下降.在本方法中,作者引入了非对称数据,如下 ...
- 刷题79. Word Search
一.题目说明 题目79. Word Search,给定一个由字符组成的矩阵,从矩阵中查找一个字符串是否存在.可以连续横.纵找.不能重复使用,难度是Medium. 二.我的解答 惭愧,我写了很久总是有问 ...