Linux三剑客awk

awk是一个强大的linux命令，有强大的文本格式化的能力，好比将一些文本数据格式化成专业的excel表的样式

awk早期在Unix上实现，我们用的awk是gawk，是GUN awk的意思

awk更是是一门编程语言，支持条件判断、数组、循环等功能

再谈三剑客

  • grep，擅长单纯的查找或匹配文本内容
  • sed，更适合编辑、处理匹配到的文本内容
  • awk，更适合格式化文本内容，对文本进行复杂处理

三个命令称之为Linux的三剑客

awk基础

awk语法

awk [option] 'pattern[action]'  file ...

awk 参数   '条件动作'  文件

  • Action指的是动作，awk擅长文本格式化，且输出格式化后的结果，因此最常用的动作就是print和printf

awk场景

动作场景

[root@pylinux tmp]# cat alex.txt

alex1 alex2 alex3 alex4 alex5

alex6 alex7 alex8 alex9 alex10

alex11 alex12 alex13 alex14 alex15

alex16 alex17 alex18 alex19 alex20

alex21 alex22 alex23 alex24 alex25

alex26 alex27 alex28 alex29 alex30

alex31 alex32 alex33 alex34 alex35

alex36 alex37 alex38 alex39 alex40

alex41 alex42 alex43 alex44 alex45

alex46 alex47 alex48 alex49 alex50

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]# cat alex.txt |awk '{print $2}'

alex2

alex7

alex12

alex17

alex22

alex27

alex32

alex37

alex42

alex47

我们执行的命令是awk '{print $2}'，没有使用参数和模式，$2表示输出文本的第二列信息

awk默认以空格为分隔符，且多个空格也识别为一个空格，作为分隔符

awk是按行处理文件，一行处理完毕，处理下一行，根据用户指定的分割符去工作，没有指定则默认空格

指定了分隔符后，awk把每一行切割后的数据对应到内置变量

  • $0表示整行
  • $NF表示当前分割后的最后一列
  • 倒数第二列可以写成$(NF-1)

awk内置变量

内置变量 解释
$n 指定分隔符后，当前记录的第n个字段
$0 完整的输入记录
FS 字段分隔符，默认是空格
NF(Number of fields) 分割后，当前行一共有多少个字段
NR(Number of records) 当前记录数，行数
更多内置变量可以man手册查看 man awk

一次性输出多列

[root@pylinux tmp]# awk '{print $1,$2}' alex.txt

alex1 alex2

alex6 alex7

alex11 alex12

alex16 alex17

alex21 alex22

alex26 alex27

alex31 alex32

alex36 alex37

alex41 alex42

alex46 alex47

自动定义输出内容

awk，必须外层单引号，内层双引号

内置变量$1、$2都不得添加双引号，否则会识别为文本，尽量别加引号

[root@pylinux tmp]# awk '{print "第一列",$1,"第二列",$2,"第三列",$3}' alex.txt

第一列 alex1 第二列 alex2 第三列 alex3

第一列 alex6 第二列 alex7 第三列 alex8

第一列 alex11 第二列 alex12 第三列 alex13

第一列 alex16 第二列 alex17 第三列 alex18

第一列 alex21 第二列 alex22 第三列 alex23

第一列 alex26 第二列 alex27 第三列 alex28

第一列 alex31 第二列 alex32 第三列 alex33

第一列 alex36 第二列 alex37 第三列 alex38

第一列 alex41 第二列 alex42 第三列 alex43

第一列 alex46 第二列 alex47 第三列 alex48

输出整行信息

[root@pylinux tmp]# awk '{print}' alex.txt        #两种写法都可以

[root@pylinux tmp]# awk '{print $0}' alex.txt

awk参数

参数 解释
-F 指定分割字段符
-v 定义或修改一个awk内部的变量
-f 从脚本文件中读取awk命令

awk案例

测试文件内容

[root@pylinux tmp]# cat pwd.txt  -n

     1    sync:x:5:0:sync:/sbin:/bin/sync

     2    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

     3    halt:x:7:0:halt:/sbin:/sbin/halt

     4    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

     5    operator:x:11:0:operator:/root:/sbin/nologin

     6    games:x:12:100:games:/usr/games:/sbin/nologin

     7    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

     8    nobody:x:99:99:Nobody:/:/sbin/nologin

     9    systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

    10    dbus:x:81:81:System message bus:/:/sbin/nologin

    11    polkitd:x:999:998:User for polkitd:/:/sbin/nologin

    12    libstoragemgmt:x:998:997:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin

    13    rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

    14    ntp:x:38:38::/etc/ntp:/sbin/nologin

显示文件第五行

#NR在awk中表示行号，NR==5表示行号是5的那一行

#注意一个等于号，是修改变量值的意思，两个等于号是关系运算符，是"等于"的意思

[root@pylinux tmp]# awk 'NR==5' pwd.txt

operator:x:11:0:operator:/root:/sbin/nologin

显示文件2-5行

设置模式（条件）

#告诉awk，我要看行号2到5的内容

[root@pylinux tmp]# awk 'NR==2,NR==5' pwd.txt

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

给每一行的内容添加行号

添加变量，NR等于行号，$0表示一整行的内容

{print }是awk的动作

[root@pylinux tmp]# awk  '{print NR,$0}'  alex.txt

1 alex1 alex2 alex3 alex4 alex5

2 alex6 alex7 alex8 alex9 alex10

3 alex11 alex12 alex13 alex14 alex15

4 alex16 alex17 alex18 alex19 alex20

5 alex21 alex22 alex23 alex24 alex25

6 alex26 alex27 alex28 alex29 alex30

7 alex31 alex32 alex33 alex34 alex35

8 alex36 alex37 alex38 alex39 alex40

9 alex41 alex42 alex43 alex44 alex45

10 alex46 alex47 alex48 alex49 alex50  alex51

显示文件3-5行且输出行号

[root@pylinux tmp]# awk 'NR==3,NR==5  {print NR,$0}' alex.txt

3 alex11 alex12 alex13 alex14 alex15

4 alex16 alex17 alex18 alex19 alex20

5 alex21 alex22 alex23 alex24 alex25

显示pwd.txt文件的第一列，倒数第二和最后一列

[root@pylinux tmp]# cat pwd.txt -n

     1    sync:x:5:0:sync:/sbin:/bin/sync

     2    shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

     3    halt:x:7:0:halt:/sbin:/sbin/halt

     4    mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

     5    operator:x:11:0:operator:/root:/sbin/nologin

     6    games:x:12:100:games:/usr/games:/sbin/nologin

     7    ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

     8    nobody:x:99:99:Nobody:/:/sbin/nologin

     9    systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin

    10    dbus:x:81:81:System message bus:/:/sbin/nologin

    11    polkitd:x:999:998:User for polkitd:/:/sbin/nologin

    12    libstoragemgmt:x:998:997:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin

    13    rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin

    14    ntp:x:38:38::/etc/ntp:/sbin/nologin

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]#

[root@pylinux tmp]# awk -F ':' '{print $1,$(NF-1),$NF}' pwd.txt

sync /sbin /bin/sync

shutdown /sbin /sbin/shutdown

halt /sbin /sbin/halt

mail /var/spool/mail /sbin/nologin

operator /root /sbin/nologin

games /usr/games /sbin/nologin

ftp /var/ftp /sbin/nologin

nobody / /sbin/nologin

systemd-network / /sbin/nologin

dbus / /sbin/nologin

polkitd / /sbin/nologin

libstoragemgmt /var/run/lsm /sbin/nologin

rpc /var/lib/rpcbind /sbin/nologin

ntp /etc/ntp /sbin/nologin

Linux三剑客awk的更多相关文章

  1. 性能工具之linux三剑客awk、grep、sed详解

    前言 linux 有很多工具可以做文本处理,例如:sort, cut, split, join, paste, comm, uniq, column, rev, tac, tr, nl, pr, he ...

  2. Linux 三剑客 -- awk sed grep

    本文由本人收集整理自互联网供自己与网友参考,参考文章均已列出,如有侵权,请告知! 顶配awk,中配sed,标配grep awk 参考 sed 参考 grep 参考 在线查看linux命令速记表 app ...

  3. Linux三剑客-AWK

    1.什么是awk AWK是一种处理文本文件的语言,是一个强大的文本分析工具.有统计和计算功能. 之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Br ...

  4. Linux实战教学笔记18:linux三剑客之awk精讲

    Linux三剑客之awk精讲(基础与进阶) 标签(空格分隔): Linux实战教学笔记-陈思齐 快捷跳转目录: * 第1章:awk基础入门 * 1.1:awk简介 * 1.2:学完awk你可以掌握: ...

  5. (转)不看绝对后悔的Linux三剑客之awk实战精讲

    原文:http://blog.51cto.com/hujiangtao/1923930 一.Linux三剑客之awk命令精讲 第1章 awk基础入门 1.1 awk简介 awk不仅仅时linux系统中 ...

  6. Linux（8）：linux三剑客sed和awk & Shell 编程（1）

    linux 三剑客 之 sed # sed 是什么? # sed : 字符流编辑器 Stream Editor: sed 擅长 替换.取行等 # sed 的功能与版本: 处理纯文本文件.日志.配置文件 ...

  7. Linux三剑客grep、awk、sed

    何为Linux三剑客? 第一个剑客是 grep,grep 会根据正则表达式查找相关内容并打印对应的数据. 第二个剑客是 awk,awk 的名字来源于三个作者的名字简称,它可以根据定位到的数据行处理其中 ...

  8. Linux三剑客grep、awk和sed

    grep,sed 和 awk是Linux/Unix 系统中常用的三个文本处理的命令行工具,称为文本处理三剑客.本文将简要介绍这三个命令并给出基本用法. 管道 在介绍这两个命令之前,有必要介绍一下Uni ...

  9. Linux 三剑客之 awk 实战详解教程

    我们知道 Linux 三剑客,它们分别是:grep.sed.awk.在前边已经讲过 grep 和 sed,没看过的同学可以直接点击阅读,今天要分享的是更为强大的 awk. sed 可以实现非交互式的字 ...

随机推荐

  1. ASP.NET Core 6框架揭秘实例演示[33]：异常处理高阶用法

    NuGet包"Microsoft.AspNetCore.Diagnostics"中提供了几个与异常处理相关的中间件,我们可以利用它们将原生的或者定制的错误信息作为响应内容发送给客户 ...

  2. 记一次有意思的 SQL 实现 → 分组后取每组的第一条记录

    开心一刻 今天,朋友气冲冲的走到我面前 朋友:我不是谈了个女朋友,谈了三个月嘛,昨天我偷看她手机,你猜她给我备注什么 我:备注什么? 朋友:舔狗 2 号! 我一听,气就上来了,说道:走,找她去,这婆娘 ...

  3. Mysql和Redis数据如何保持一致

    先阐明一下Mysql和Redis的关系:Mysql是数据库,用来持久化数据,一定程度上保证数据的可靠性:Redis是用来当缓存,用来提升数据访问的性能. 关于如何保证Mysql和Redis中的数据一致 ...

  4. JS/java实现QQ空间自动点赞

    使用方法: 1:进入QQ空间 2:复制下面代码 3:按F12或右键审查元素 进入控制台 也就是console 4:粘贴  回车键  喝口水 5:如果嫌慢的话可以 修改这段代码. window.setI ...

  5. 【python】生成一段连续的日期

    date-gen.py import datetime def date_generate(start_date, end_date): print(f'Hi, {start_date}, {end_ ...

  6. K8S_总结

    K8S 核心组件 配置存储中心 --> etcd服务 主控(master)节点 ​ [1] kube-apiserver 服务 apiserver:(K8S 大脑) 1. 提供了集群管理的 RE ...

  7. 【读书笔记】C#高级编程 第十六章 错误和异常

    (一)简介 错误的出现并不总是编写应用程序的人的原因,有时应用程序会因为应用程序的最终用户引发或运行代码的环境而发生错误.C#提供了异常处理机制来处理错误. (二)异常类 在C#中,但刚出现某个特殊的 ...

  8. Twikoo私有化部署教程--迁移腾讯云

    目录 备份数据 私有化部署 创建容器 导入数据 重新配置twikoo面板设置 引入前端CDN Nginx https反代http 作者:小牛呼噜噜 | https://xiaoniuhululu.co ...

  9. 【学习笔记】Vin-Mono论文阅读笔记（一）

    VINS-Mono 概述 VINS-Mono VINS-Mono是由一个单目相机和一个低成本IMU组成的鲁棒通用的单目视觉惯性系统.通过融合预积分的IMU测量值和特征观测值来获得高精度的视觉惯性里程计 ...

  10. Logstash：Grok filter 入门

    转载自: https://blog.csdn.net/UbuntuTouch/article/details/105922198 Logstash模式:https://www.elastic.co/g ...