正则表达式awk学习(三)
awk:格式化文本输出
gawk - pattern scanning and processing language
awk:gawk的符号链接
基本用法:gawk [options] 'program' FILE
program:PATTERN {ACTION STATEMENTS}
语句之间用分号分隔
print,printf
选项:
-F: 指明输入时用到的字段分隔符;
默认空格
-v:var=value :自定义变量
变量名必须以字母或_开头
echo $变量名
1、print
print item1,item2,...
要点:
()逗号分隔符;
()输出的个item可以是字符串,也可以是数字;当前记录的字段、变量或awk的表达式
()如省略item,相当于print $ 练习模板:
cat > passwd<<EOF
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
EOF
案例1:打印用户名和对应的shell
[root@xiaoming ~]# awk -F":" '{print $1,$7}' passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin
//添加制表符
[root@xiaoming ~]# awk -F":" '{print $1 "\t" $7}' passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin
案例2:打印用户名及对应的uid和gid
[root@xiaoming ~]# awk -F":" '{print "用户是:" $1 "\t 用户uid:" $3 "\t 用户gid:" $4}' passwd
用户是:root 用户uid: 用户gid:
用户是:bin 用户uid: 用户gid:
用户是:daemon 用户uid: 用户gid:
用户是:adm 用户uid: 用户gid:
用户是:lp 用户uid: 用户gid:
用户是:sync 用户uid: 用户gid:
用户是:shutdown 用户uid: 用户gid:
用户是:halt 用户uid: 用户gid:
用户是:mail 用户uid: 用户gid:
用户是:operator 用户uid: 用户gid:
2、变量
内建变量:
FS: input field seperator,默认为空白字符
-F':' FS=':'
OFS: output field seperator,默认为空白字符
RS: input record seperator,输入时换行符
ORS: output record seperator,输出时换行符
NF: number of field,字段设置:
{print NF},{print $NF}
NR: number of record: 行数
FNR: 各文件分别计数:行数;
FILENAME: 当前文件名
ARGC: 命令行参数的个数
ARGV: 数组,保存的是命令行所给定的各参数 自定义变量:
)-v var=value
)在program中直接定义
案例1:打印用户名和对应的shell
[root@xiaoming ~]# awk -F":" '{print $1,$7}' passwd
[root@xiaoming ~]# awk -v FS=":" '{print $1,$NF}' passwd
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
sync /bin/sync
shutdown /sbin/shutdown
halt /sbin/halt
mail /sbin/nologin
operator /sbin/nologin
案例2:通过OFS定义输出分隔符
[root@xiaoming ~]# awk -F':' -v OFS="'s shell is " '{print $1,$NF}' passwd
root's shell is /bin/bash
bin's shell is /sbin/nologin
daemon's shell is /sbin/nologin
adm's shell is /sbin/nologin
lp's shell is /sbin/nologin
sync's shell is /bin/sync
shutdown's shell is /sbin/shutdown
halt's shell is /sbin/halt
mail's shell is /sbin/nologin
operator's shell is /sbin/nologin
案例3:打印文件行号
[root@xiaoming ~]# awk '{print NR,$0}' passwd
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
案例4:自定义变量
[root@xiaoming ~]# awk -v name=xiaoming '{print name,$0}' passwd
xiaoming root:x:::root:/root:/bin/bash
xiaoming bin:x:::bin:/bin:/sbin/nologin
xiaoming daemon:x:::daemon:/sbin:/sbin/nologin
xiaoming adm:x:::adm:/var/adm:/sbin/nologin
xiaoming lp:x:::lp:/var/spool/lpd:/sbin/nologin
xiaoming sync:x:::sync:/sbin:/bin/sync
xiaoming shutdown:x:::shutdown:/sbin:/sbin/shutdown
xiaoming halt:x:::halt:/sbin:/sbin/halt
xiaoming mail:x:::mail:/var/spool/mail:/sbin/nologin
xiaoming operator:x:::operator:/root:/sbin/nologin
3、printf
格式化输出:printf FORMAT,item1,item2
print item1,item2
print $,$
printf "%s,%s",$,$ )FORMAT必须要
)不会自动换行,需要给出换行控制符,\n
)FORMAT中需要分别为后面的每个item指定一个格式化符号 格式符:
%c:显示字符的ASCII码
%d,%i:显示十进制整数
%e,%E:显示科学计数法数值
%f:显示浮点数
%g,%G:以科学计数法或浮点形式显示数值
%s:显示字符串
%u:无符号整数
%%:显示%自身 修饰符
m[.n]:m控制显示的宽度,n表示小数点后的精度
%3.1f
-:左对齐
+:显示数值的符号
案例1:显示多次字符串并左对齐
[root@xiaoming ~]# awk -F':' '{printf "uid:%10-s\tgid:%s\n",$1,$3}' passwd
uid:root gid:
uid:bin gid:
uid:daemon gid:
uid:adm gid:
uid:lp gid:
uid:sync gid:
uid:shutdown gid:
uid:halt gid:
uid:mail gid:
uid:operator gid: [root@xiaoming ~]# echo '123 456' | awk '{printf "%s%s\n",$1,$2}' | sed -r 's#(1)(2)(3)(4)(5)(6)#\6\5\4\3\2\1#' [root@xiaoming ~]# echo '1 2 3 4 5 6' | awk '{print $6$5$4$3$2$1}'
4、操作符
算数操作符
x+y,x-y,x*y,x^y,x%y
-x
+x 字符串操作符:没有符号的操作符,字符串连接 赋值操作符:
=,+=,-=,*=,/+,%=,^=
++,-- 比较操作符
>,>=,<,<=,!=,== 模式匹配符号:
~:匹配
!~:不匹配 逻辑操作符:
&&
||
! 函数调用:
function_name(argu1,argu2,...) 条件表达式
selector?if-true-expression:if-false-expression
案例1:四则运算
[root@xiaoming ~]# echo | awk '{printf "%.2f\n",2/3}'
0.67
[root@xiaoming ~]# echo | awk '{printf "%.2f\n",2+3}'
5.00
[root@xiaoming ~]# echo | awk '{printf "%.2f\n",3-2}'
1.00
[root@xiaoming ~]# echo | awk '{printf "%.2f\n",3*2}'
6.00
[root@xiaoming ~]# echo | awk '{printf "%.2f\n",3%2}'
1.00
[root@xiaoming ~]# echo | awk '{printf "%.2f\n",3^2}'
9.00
案例2:比较运算符
//打印出系统用户的信息
[root@xiaoming ~]# awk -F':' '$3<1000' passwd
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin [root@xiaoming ~]# awk -F':' '$3>=1000{print $1}' passwd
oldboy
oldgirl
案例3:逻辑运算符
//打印非root用户的系统用户信息
[root@xiaoming ~]# awk -F':' '$1!="root" && $3<1000' passwd
[root@xiaoming ~]# awk -F':' '$1!~"root" && $3<1000' passwd
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin //打印管理员和非系统用户信息
[root@xiaoming ~]# awk -F':' '$1~"root" || $3>=1000' passwd
root:x:::root:/root:/bin/bash
oldboy:x:::root:/root:/bin/bash
oldgirl:x:::root:/root:/bin/bash #打印根分区已使用超过2G,打印根分区已占用空间
[root@xiaoming ~]# df | awk '/\/$/ && $3>2000000 {print $4} '
案例4:模式匹配
//打印bash结尾的用户名和登录shell信息
解法一:
[root@xiaoming ~]# awk -F':' '/bash$/{print $1,$NF}' passwd
root /bin/bash
oldboy /bin/bash
oldgirl /bin/bash
解法二:
[root@xiaoming ~]# awk -F':' '$NF~/bash/{print $1,$NF}' passwd
root /bin/bash
oldboy /bin/bash
oldgirl /bin/bash
解法三:
[root@xiaoming ~]# awk -F':' '$NF=="/bin/bash" {print $1,$NF}' passwd
root /bin/bash
oldboy /bin/bash
oldgirl /bin/bash
案例5:条件表达式
//打印用户名,并显示uid大于等于1000的普通用户,小于1000的是系统用户
[root@xiaoming ~]# awk -F':' '{$3<1000?usertype="SysUser":usertype="ComUser";printf "%10-s\t%s\n",$1,usertype}' passwd
root SysUser
bin SysUser
daemon SysUser
adm SysUser
lp SysUser
sync SysUser
shutdown SysUser
halt SysUser
mail SysUser
operator SysUser
oldboy ComUser
oldgirl ComUser
5、PATTERN
)empty:空模式
)/regular expression/:仅处理能够被匹配的行
)关系表达式:结果为真才会被处理
真:结果非0
)行范围
/pat1/,/pat2/
不支持直接给出数字的格式
)BEGIN/END模式
BEGIN{}:仅在开始处理文件中的文本之前执行一次 {} END{}:仅在文本处理之后执行一次
行处理前 行处理 行处理后
[root@xiaoming ~]# awk -F':' '/^r/,/^o/{print $1}' passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
operator [root@xiaoming ~]# awk -F':' 'NR>=2&&NR<=10{print $1}' passwd
bin
daemon
adm
lp
sync
shutdown
halt
operator
[root@xiaoming ~]# awk -F':' 'BEGIN{printf "username\tuid\tgid\tdesc\t\thome\t\tshell\n-------------------\n"}{printf "%10-s\t%4-s\t%s\t%10-s\t%15-s\t%s\n",$1,$3,$4,$5,$6,$7}END{print "--------------------"}' passwd
username uid gid desc home shell
-------------------
root root /root /bin/bash
bin bin /bin /sbin/nologin
daemon daemon /sbin /sbin/nologin
adm adm /var/adm /sbin/nologin
lp lp /var/spool/lpd /sbin/nologin
sync sync /sbin /bin/sync
shutdown shutdown /sbin /sbin/shutdown
halt halt /sbin /sbin/halt
mail mail /var/spool/mail /sbin/nologin
operator operator /root /sbin/nologin
oldboy root /root /bin/bash
oldgirl root /root /bin/bash
--------------------
正则表达式awk学习(三)的更多相关文章
- (转) awk学习
awk学习 原文:http://blog.chinaunix.net/uid-23302288-id-3785105.html http://www.zsythink.net/archives/t ...
- 【转】awk学习笔记
Awk学习笔记 整理:Jims of 肥肥世家 <jims.yang@gmail.com> Copyright © 2004 本文遵从GPL协议,欢迎转载.修改.散布. 第一次发布时间:2 ...
- Django基础学习三_路由系统
今天主要来学习一下Django的路由系统,视频中只学了一些皮毛,但是也做下总结,主要分为静态路由.动态路由.二级路由 一.先来看下静态路由 1.需要在project中的urls文件中做配置,然后将匹配 ...
- ElasticSearch7.3学习(三十二)----logstash三大插件(input、filter、output)及其综合示例
1. Logstash输入插件 1.1 input介绍 logstash支持很多数据源,比如说file,http,jdbc,s3等等 图片上面只是一少部分.详情见网址:https://www.elas ...
- HTTP学习三:HTTPS
HTTP学习三:HTTPS 1 HTTP安全问题 HTTP1.0/1.1在网络中是明文传输的,因此会被黑客进行攻击. 1.1 窃取数据 因为HTTP1.0/1.1是明文的,黑客很容易获得用户的重要数据 ...
- TweenMax动画库学习(三)
目录 TweenMax动画库学习(一) TweenMax动画库学习(二) TweenMax动画库学习(三) ...
- Struts2框架学习(三) 数据处理
Struts2框架学习(三) 数据处理 Struts2框架框架使用OGNL语言和值栈技术实现数据的流转处理. 值栈就相当于一个容器,用来存放数据,而OGNL是一种快速查询数据的语言. 值栈:Value ...
- 调用awk的三种方式
调用awk的三种方式 调用awk有三种方式,一种为Shell命令行方式,另外两种是将awk程序写入脚本文件,然后执行该脚本文件.三种方式的命令格式归纳如下: 一.在Shell命令行输入命令调用awk, ...
- 4.机器学习——统计学习三要素与最大似然估计、最大后验概率估计及L1、L2正则化
1.前言 之前我一直对于“最大似然估计”犯迷糊,今天在看了陶轻松.忆臻.nebulaf91等人的博客以及李航老师的<统计学习方法>后,豁然开朗,于是在此记下一些心得体会. “最大似然估计” ...
随机推荐
- 强制浏览器以IE8版本运行
做为一个开发人员,经常被要求前端页面兼容ie8及以上,所以有时候我们希望ie默认以ie8的版本打开我们的页面. 1.“文档模式”: 在html页面中加入类似下面的代码: <meta http-e ...
- 洛谷 P5662 纪念品
题目传送门 解题思路: 一道DP,完全背包,不过有点不同于模板.因为本题的每件物品可自由在不同的时间买卖,且不同时间价格不同. 这道题的关键在于要明白一个非常傻逼的性质,就是我在某天买了第i个物品,然 ...
- Arduino LiquidCrystal库函数中文对照
我之所以会试试看LCD+Shield,一是因为我本来就有这块板,但一直不会用,第二个原因则是Arduino+Cookbook这本书.O’Reilly的这本手册对你在Arduino实践中的各种问题(几乎 ...
- xv6 系统调用
1. 系统调用的实现 开发程序需所有的接口在user.h中,包含两部分system call和ulib user.h中的系统接口函数在usys.S中通过汇编实现 #define SYSCALL(nam ...
- 日志处理中一些shell命令技巧
日志处理中一些shell命令技巧 阴差阳错的做的日志分析,前途未卜的这段日子,唯一还有点意思的可能就是手动的处理大量日志.总结一下. 日志文件的输入是动则几个G的文本.从N个这样的文件中得到一个列表, ...
- ZOJ 1454 dp
Employment Planning Time Limit:2000MS Memory Limit:65536KB 64bit IO Format:%lld & %llu S ...
- UML-GRASP后4种模式
1.多态 1).什么是多态 问题:if-else耦合度过高 解决: 方法1:接口 方法2:超类里需多态的方法前加上{abstract} 2).相关模式 防止异变 大量GoF,如适配器(Adapter) ...
- python中ndarray和matrix
1. 定义ndarray和matrix from numpy import * a = mat([[1,2],[3,4]]) b = mat([[5,6],[7,8]]) c = array([1,2 ...
- Linux(CENTOS7) Nginx负载均衡简单配置
负载均衡的作用 1.转发功能 按照一定的算法[权重.轮询],将客户端请求转发到不同应用服务器上,减轻单个服务器压力,提高系统并发量. 2.故障移除 通过心跳检测的方式,判断应用服务器当前是否可以正常工 ...
- idea指定启动参数、环境变量
1. 点击Edit Configurations 2 # VM Arguments 是设置的虚拟机的属性 # VM options # 环境变量参数 这里需要指定-D参数 -server -XX:M ...