简单介绍shell编程四剑客之awk
概要：分别的作用
grep：文本过滤（模式:pattern）工具，grep，egrep，fgrep，擅长过滤。
sed：stream editor 文本编辑工具；（流编辑器），擅长取行、替换。
awk：linux上的实现gawk，文件报告生成器；（独立的编程语言），过滤内容，擅长取列。
find： linux上实时查找工具，通过便利指定路径下得文件系统完成文件查找。
一、awk
awk能够进行文本处理和报表生产，经常用在linux日常处理的工作中
1、语法参数格式为：awk 'pattern + {action}' file
awk 选项 模式 动作 文件
2、语法详解
单引号时和shell命令区分开；
大括号{}表示一个命令分组；
pattern是要给过滤器，表示匹配pattern条件的行才进行action处理；
action是处理动作，常见动作为print
pattren和action可以只有其一，但不能都没有
3、选项
-F 指定输入时用到的字段分隔符
-v var=value：自定义变量
4、模式介绍
1）、BEGIN{ statements } 。
让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量
在输入被读取之前，statements执行一次
2）、END{ statements }
让用户在最后一条输入记录被读取之后发生的动作
当所有输入被读取完毕之后，statements执行一次
3）、expression{ statements }
关系表达式，可以用下面运算符表中的关系运算符进行操作，如%2>%1选择第二个字段比第一个字段长的行。
每碰到一个是expression为真的输入行，statements执行一次，expression为真指的是其值非零或非空
4）、/regular expression/ { statements }
通配符的扩展集
碰到这样一个输入行时，statements就执行：输入行含由一段字符串，而该字符串可以被regular expression匹配
5）、compound pattern { statements }
一个复合模式将表达式用&&（AND）,(OR)，！（NOT）,以及括号组合起来；当compound pattern为真时，statements执行。
6）、pattern1，pattern2 { statements }
模式，模式，指定一个行的范围不能包括BEGIN和END模式
一个范围模式匹配多个输入行，这些输入行从匹配pattern1的行开始，到匹配pattern2的行结束（包括这两行），对这其中的每一行执行statements
5、动作
expression表达式，包括常量，变量，赋值，函数调用等等 。
print expression-list
printf（format，expression-list）
if（expression）statements
if （expression）statements else statements
while （expression） statements
for （expression in array）statements
for （expression in array） statements
do statements while （expression）
break
contnue
6、变量
$0所有内容，$1第一列，$2第二列，$NF最后一列，$FN-1倒数第二列
各种变量如下：
7、运算符号
实例1、awk '{print $0}' /etc/passwd
[root@web2 keepalived]# awk '{print $0}' /etc/passwd
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
拆解一下具体的变量如下：
实例2、打印uid在30~40范围内用户名
[root@web2 keepalived]# awk -F: '$3>=30&&$3<=40{print $3}' /etc/passwd
[root@web2 keepalived]#
实例3、打印第5-10行的行号和用户名
[root@web2 keepalived]# awk -F: 'NR>=5&&NR<=10{print $1,NR}' /etc/passwd
lp
sync
shutdown
halt
mail
operator
实例4、打印机奇偶数行
[root@web2 keepalived]# awk -F: 'NR%2==1{print NR,$0}' /etc/passwd
root:x:::root:/root:/bin/bash
daemon:x:::daemon:/sbin:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
shutdown:x:::shutdown:/sbin:/sbin/shutdown
mail:x:::mail:/var/spool/mail:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
systemd-network:x:::systemd Network Management:/:/sbin/nologin
polkitd:x:::User for polkitd:/:/sbin/nologin
unbound:x:::Unbound DNS resolver:/etc/unbound:/sbin/nologin
libstoragemgmt:x:::daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
colord:x:::User for colord:/var/lib/colord:/sbin/nologin
saslauth:x:::Saslauthd user:/run/saslauthd:/sbin/nologin
rtkit:x:::RealtimeKit:/proc:/sbin/nologin
nfsnobody:x:::Anonymous NFS User:/var/lib/nfs:/sbin/nologin
qemu:x:::qemu user:/:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
sssd:x:::User for sssd:/:/sbin/nologin
gdm:x::::/var/lib/gdm:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
zhangxingeng:x:::centos--:/home/zhangxingeng:/bin/bash
mysql:x:::MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@web2 keepalived]# awk -F: 'NR%2==0{print NR,$0}' /etc/passwd
bin:x:::bin:/bin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
halt:x:::halt:/sbin:/sbin/halt
operator:x:::operator:/root:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
dbus:x:::System message bus:/:/sbin/nologin
abrt:x::::/etc/abrt:/sbin/nologin
tss:x:::Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
rpc:x:::Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
usbmuxd:x:::usbmuxd user:/:/sbin/nologin
geoclue:x:::User for geoclue:/var/lib/geoclue:/sbin/nologin
rpcuser:x:::RPC Service User:/var/lib/nfs:/sbin/nologin
radvd:x:::radvd user:/:/sbin/nologin
ntp:x::::/etc/ntp:/sbin/nologin
setroubleshoot:x::::/var/lib/setroubleshoot:/sbin/nologin
pulse:x:::PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
gnome-initial-setup:x::::/run/gnome-initial-setup/:/sbin/nologin
avahi:x:::Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin
[root@web2 keepalived]#
实例4、打印字段数大于5的行
[root@web2 keepalived]# awk -F: 'NF>6{print $0}' /etc/passwd
root:x:::root:/root:/bin/bash
bin:x:::bin:/bin:/sbin/nologin
daemon:x:::daemon:/sbin:/sbin/nologin
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
nobody:x:::Nobody:/:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
systemd-network:x:::systemd Network Management:/:/sbin/nologin
dbus:x:::System message bus:/:/sbin/nologin
polkitd:x:::User for polkitd:/:/sbin/nologin
abrt:x::::/etc/abrt:/sbin/nologin
unbound:x:::Unbound DNS resolver:/etc/unbound:/sbin/nologin
tss:x:::Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
libstoragemgmt:x:::daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
rpc:x:::Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
colord:x:::User for colord:/var/lib/colord:/sbin/nologin
usbmuxd:x:::usbmuxd user:/:/sbin/nologin
saslauth:x:::Saslauthd user:/run/saslauthd:/sbin/nologin
geoclue:x:::User for geoclue:/var/lib/geoclue:/sbin/nologin
rtkit:x:::RealtimeKit:/proc:/sbin/nologin
rpcuser:x:::RPC Service User:/var/lib/nfs:/sbin/nologin
nfsnobody:x:::Anonymous NFS User:/var/lib/nfs:/sbin/nologin
radvd:x:::radvd user:/:/sbin/nologin
qemu:x:::qemu user:/:/sbin/nologin
ntp:x::::/etc/ntp:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
setroubleshoot:x::::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:::User for sssd:/:/sbin/nologin
pulse:x:::PulseAudio System Daemon:/var/run/pulse:/sbin/nologin
gdm:x::::/var/lib/gdm:/sbin/nologin
gnome-initial-setup:x::::/run/gnome-initial-setup/:/sbin/nologin
sshd:x:::Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
avahi:x:::Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
postfix:x::::/var/spool/postfix:/sbin/nologin
tcpdump:x::::/:/sbin/nologin
zhangxingeng:x:::centos--:/home/zhangxingeng:/bin/bash
nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin
mysql:x:::MariaDB Server:/var/lib/mysql:/sbin/nologin
[root@web2 keepalived]#
实例5、打印UID不等于GID的用户名
[root@web2 keepalived]# awk -F: '$3!=$4{print $0}' /etc/passwd
adm:x:::adm:/var/adm:/sbin/nologin
lp:x:::lp:/var/spool/lpd:/sbin/nologin
sync:x:::sync:/sbin:/bin/sync
shutdown:x:::shutdown:/sbin:/sbin/shutdown
halt:x:::halt:/sbin:/sbin/halt
mail:x:::mail:/var/spool/mail:/sbin/nologin
operator:x:::operator:/root:/sbin/nologin
games:x:::games:/usr/games:/sbin/nologin
ftp:x:::FTP User:/var/ftp:/sbin/nologin
systemd-bus-proxy:x:::systemd Bus Proxy:/:/sbin/nologin
polkitd:x:::User for polkitd:/:/sbin/nologin
unbound:x:::Unbound DNS resolver:/etc/unbound:/sbin/nologin
libstoragemgmt:x:::daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
colord:x:::User for colord:/var/lib/colord:/sbin/nologin
saslauth:x:::Saslauthd user:/run/saslauthd:/sbin/nologin
geoclue:x:::User for geoclue:/var/lib/geoclue:/sbin/nologin
chrony:x::::/var/lib/chrony:/sbin/nologin
setroubleshoot:x::::/var/lib/setroubleshoot:/sbin/nologin
sssd:x:::User for sssd:/:/sbin/nologin
gnome-initial-setup:x::::/run/gnome-initial-setup/:/sbin/nologin
nginx:x:::Nginx web server:/var/lib/nginx:/sbin/nologin
[root@web2 keepalived]#
实例6、打印1~100以内的7的倍数和包含7的数
[root@web2 keepalived]# seq 1 100 | awk '$1~/7/||$1%7==0{print $1}'
实例7、计算UID相加的总和；计算GID相加的总和
[root@web2 keepalived]# awk -F: '{uid+=$3;gid+=$4}END{print uid;print gid}' /etc/passwd
[root@web2 keepalived]#
实例8、找出普通用户和用户名并统计数量
[root@web2 keepalived]# awk -F: '{if($3>=500) sum+=1}END{print sum}' /etc/passwd
[root@web2 keepalived]#
uid分组标记为：0 admin,1-499 sysuser,500 + users
[root@web2 keepalived]# awk 'BEGIN{FS=":";OFS="\t";print "用户名\tUID\t权限"}{if($3==0)print $1,$3,"admin";else if($3<500)print $1,
> $,"sysusers";else print $,$,"users"}' /etc/passwd
用户名 UID 权限
root admin
bin sysusers
daemon sysusers
adm sysusers
lp sysusers
sync sysusers
shutdown sysusers
halt sysusers
mail sysusers
operator sysusers
games sysusers
ftp sysusers
nobody sysusers
systemd-bus-proxy users
systemd-network sysusers
dbus sysusers
polkitd users
abrt sysusers
unbound users
tss sysusers
libstoragemgmt users
rpc sysusers
colord users
usbmuxd sysusers
saslauth users
geoclue users
rtkit sysusers
rpcuser sysusers
nfsnobody users
radvd sysusers
qemu sysusers
ntp sysusers
chrony users
setroubleshoot users
sssd users
pulse sysusers
gdm sysusers
gnome-initial-setup users
sshd sysusers
avahi sysusers
postfix sysusers
tcpdump sysusers
zhangxingeng users
nginx users
mysql sysusers
[root@web2 keepalived]#
转载请注明出处：https://www.cnblogs.com/zhangxingeng/p/10743376.html
简单介绍shell编程四剑客之awk的更多相关文章
- 简单介绍shell编程四剑客之grep
概要:分别的作用 grep:文本过滤(模式:pattern)工具,grep,egrep,fgrep,擅长过滤. sed:stream editor 文本编辑工具:(流编辑器),擅长取行.替换. awk ...
- 简单介绍shell编程四剑客之sed
概要:分别的作用 grep:文本过滤(模式:pattern)工具,grep,egrep,fgrep,擅长过滤. sed:stream editor 文本编辑工具:(流编辑器),擅长取行.替换. awk ...
- shell 编程四剑客简介 find sed grep awk(微信公众号摘抄）
一,Shell编程四剑客之Find 通过如上基础语法的学习,读者对Shell编程有了更近一步的理解,Shell编程不再是简单命令的堆积,而是演变成了各种特殊的语句.各种语法.编程工具.各种命令的集合. ...
- Shell编程四剑客包括：find、sed、grep、awk
一.Shell编程四剑客之Find Find工具主要用于操作系统文件.目录的查找,其语法参数格式为: find path -option [ -print ] [ -exec -ok command ...
- 编程四剑客awk
awk 'pattern +{action}' file (1)AWK基本语法参数详解 a:单引号 ''是为了和shell命令区分开: b:大括号{}表示一个命令分组: c:pattern 是一个过 ...
- 四剑客（awk）
AWK AWK简介 虽然sed编辑器是非常方便自动修改文本文件的工具,但其也有自身的限制.通常你需要一个用来处理文件中的数据的更高级工具,它能提供一个类编程环境来修改和重新组织文件中的数据.这正是ga ...
- shell学习四十天----awk的惊人表现
awk的惊人表现 awk能够胜任差点儿全部的文本处理工作. awk 调用 1.调用awk: 方式一:命令行方式 awk [-F field-separator ] 'commands' inp ...
- Linux四剑客之awk命令
AWK详解 awk简介 awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥有自己的语 ...
- Shell编程（六）awk工具
1. {print} coins.txt gold USA American Eagle gold Austria Franz Josef Korona silver USA ingot gold S ...
随机推荐
- Java Native Interface调用C++代码
概述 Java Native Interface译为Java原生接口,简称JNI.Java并不是完美的,它的不足体现在运行速度要比传统的C++慢上许多,并且无法直接访问到操作系统底层,为此Java提供 ...
- WebP 在减少图片体积和流量上的效果如何？MIP技术实践分享
作者 | Jackson 编辑 | 尾尾 不论是 PC 还是移动端,图片一直占据着页面流量的大头,在图片的大小和质量之间如何权衡,成为了长期困扰开发者们的问题.而 WebP 技术的出现,为解决该问题提 ...
- 【Azkaban搭建】---Azkaban 3.25.0搭建细则 超实用
一.前述 Azkaban是一个工作流调度工具,因为需要各个任务之间有依赖关系,传统的Crontab 任务已经不能满足. 所以需要建立一套工作流引擎.相比Ooize来说,Azkaban的优势是作为一个客 ...
- [区块链] 密码学——椭圆曲线密码算法（ECC）
今天在学椭圆曲线密码(Elliptic Curve Cryptography,ECC)算法,自己手里缺少介绍该算法的专业书籍,故在网上查了很多博文与书籍,但是大多数博客写的真的是...你懂的...真不 ...
- [Hyperledger] Fabric系统中 peer模块的 gossip服务详解
最近一直在看fabric系统中的核心模块之一——peer模块.在看peer的配置文件core.yaml的信息时,对其中的gossip配置选项很感兴趣.看了一上午,还是不能明白这个选项到底什么意思呢?表 ...
- XiaomiPushDemo【小米推送集成，基于V3.6.12版本】
版权声明:本文为HaiyuKing原创文章,转载请注明出处! 前言 这个Demo只是记录小米推送的集成,不能运行. 使用步骤 一.项目组织结构图 注意事项: 1. 导入类文件后需要change包名以 ...
- Python爬虫入门这一篇就够了
何谓爬虫 所谓爬虫,就是按照一定的规则,自动的从网络中抓取信息的程序或者脚本.万维网就像一个巨大的蜘蛛网,我们的爬虫就是上面的一个蜘蛛,不断的去抓取我们需要的信息. 爬虫三要素 抓取 分析 存储 基础 ...
- JS原型--原型链
构造函数-->原型--->prototype-->__proto__-->constructor-->原型链 构造函数 什么是构造函数?我理解构造函数就是可以用来生 ...
- c# 创建Excel com加载项图片对象批量操作
技术含量较低,主要是通过VBA代码转换成c#代码而来,从而实现图片批量插入.删除.另存为的批量操作,增加文档使用的通用性. 插件主要界面如下: 主要代码如下: private void button8 ...
- linux高级编程
系统调用 01.什么是系统调用? 02.Linux系统调用之I/O操作(文件操作) 03.文件描述符的复制:dup(), dup2() 多进程实现多任务 04.进程的介绍 05.Linux可执行文件结 ...