Linux awk使用方法~~整理
目录
awk行处理方式
awk和sed一样,一次处理一行内容;也可以对每行进行切片处理
awk命令格式
命令行格式
$ awk [options] 'command' files
脚本格式
$ awk -f scirpt_file files
基本格式
$ awk [options] 'command' files
command 由两部分组成,分别是
1、pattern,可以是正则表达式或者逻辑判断式
2、{ awk 命令 } 花括号括起来的是代码段
awk内置变量
变量 | 含义 |
$0 | 当前记录(整行的记录) |
$1~$n | 当前记录的第几列 |
FILENAME | 输入的文件名称 |
FS | 输入文件的字段分隔符(Fields Separator) |
RS | 输入文件的记录(每一行之间)的分隔符(Record Separator) |
NF | 当前行的字段数目(Number of Fields) |
NR | 当前记录所在的行号 |
OFS | 输出字段的分隔符 |
ORS | 输出记录的分隔符 |
awk函数
函数声明 | 含义 |
length(str) | 返回str中字符的个数 |
int(num) | 返回num的整数部分 |
index(str1, str2) | 返回str2在str1中的索引,如果不存在就返回0 |
split(str, arr, separator) | 使用separator作为分隔符,将str切分为数组保存到arr中,返回数组的元素个数 |
printf(fmt, args) | 根据fmt格式化args,并输出结果 |
sprintf(fmt, args) | 根据fmp格式化args,并返回格式化后的字符串 |
substr(str, pos, len) | 返回str中从pos开始,长度为len个字符的子字符串 |
tolower(str) | 返回str转换为小写字母后的副本 |
toupper(str) | 返回str转换为大写字母后的副本 |
测试数据
-> # cat data.txt
小红 female 一年级 BeiJing 90 Yes
小花 female 一年级 ShangHai 55
小明 male 三年级 BeiJing 90
小可 female 一年级 ChongQing 70
小林 male 一年级 ChongQing 90 Yes
小飞 male 二年级 GuangDong 65
小波 male 一年级 HangZhou 90 No
小康 male 四年级 ShenZhen 65 No
小雷 male 一年级 FuJian 70
小冰 female 五年级 BeiJing 90
测试awk变量和函数
打印每一行的行号、字段数、以及每一行的内容
-> # awk '{print "row:" NR "\t" "fields:" NF "\t" $0}' data.txt
row:1 fields:6 小红 female 一年级 BeiJing 90 Yes
row:2 fields:5 小花 female 一年级 ShangHai 55
row:3 fields:5 小明 male 三年级 BeiJing 90
row:4 fields:5 小可 female 一年级 ChongQing 70
row:5 fields:6 小林 male 一年级 ChongQing 90 Yes
row:6 fields:5 小飞 male 二年级 GuangDong 65
row:7 fields:6 小波 male 一年级 HangZhou 90 No
row:8 fields:6 小康 male 四年级 ShenZhen 65 No
row:9 fields:5 小雷 male 一年级 FuJian 70
row:10 fields:5 小冰 female 五年级 BeiJing 90
打印所有的人名、城市
-> # awk '{print $1 "\t" $4}' data.txt
小红 BeiJing
小花 ShangHai
小明 BeiJing
小可 ChongQing
小林 ChongQing
小飞 GuangDong
小波 HangZhou
小康 ShenZhen
小雷 FuJian
小冰 BeiJing
使用printf来格式化打印用户信息
-> # awk -F ':' '{printf("Line:%s Fields:%s User:%s\n", NR, NF, $1)}' /etc/passwd
Line:1 Fields:7 User:root
Line:2 Fields:7 User:bin
Line:3 Fields:7 User:daemon
Line:4 Fields:7 User:adm
Line:5 Fields:7 User:lp
Line:6 Fields:7 User:sync
Line:7 Fields:7 User:shutdown
打印用户id大于100的行号和用户名,其他用户不打印,输出hello
-> # awk -F ':' '{
> if ($3 > 100) {
> printf("Line:%s Fields:%s User:%s UID:%s\n", NR, NF, $1, $3)
> } else {
> print "hello"
> }
> }' /etc/passwd
找出服务器访问日志中,出现Error的时间
-> # sed -n '/Error/ p' access_log | awk '{print $1}'
-> # awk '/Error/ {print $1}' access_log
逻辑判断式
注意,逻辑判断式是在{ awk命令 }前面的
~,!~ 是否匹配正则表达式,后面跟一个正则表达式
-> # #查询主机中,用户名包含'g'的用户,打印出用户名和UID
-> # awk -F ':' '$1 ~ /g/ {print "User:"$1 "\t" "UID:"$3}' /etc/passwd
User:games UID:12
User:libstoragemgmt UID:998
User:syslog UID:996
User:yingjie UID:1005 -> # #查询主机中,用户名不包含'g'的用户,打印出用户名和UID
-> # awk -F ':' '$1 !~ /g/ {print "User:"$1 "\t" "UID:"$3}' /etc/passwd
==,!= , >=,<=,<,> ,||,&& 用于判断大小、是否相等、逻辑关系
-> # #打印分数高于70,或者低于或者等于60的记录
-> # awk '$5 > 70 || $5 < 60 {print $0}' data.txt
小红 female 一年级 BeiJing 90 Yes
小花 female 一年级 ShangHai 55
小明 male 三年级 BeiJing 90
小林 male 一年级 ChongQing 90 Yes
小波 male 一年级 HangZhou 90 No
小冰 female 五年级 BeiJing 90
扩展格式
$ awk [options] 'command' file
扩展格式是指,command扩展,格式如下:
BEGIN { command1 } pattern { awk命令 } END { command2 }
其中 BEGIN中的command1,会在读入第一行之前执行,并且只执行一次。接着循环执行中间的awk命令、
然后END后面的command2,会在文件所有行都读完之后,并执行一次command2。
-> # awk 'BEGIN {print "start"} /female/ {print $0} END {print "end"}' data.txt
start
小红 female 一年级 BeiJing 90 Yes
小花 female 一年级 ShangHai 55
小可 female 一年级 ChongQing 70
小冰 female 五年级 BeiJing 90
end
BEGIN和END
一般在BEGIN中可以做一下事情:
1、定义分隔符
2、定义表头
自定义分割符、输出时使用的分隔符
FS (fields separator)
OFS( output fields separator)
-> # awk 'BEGIN{FS=" ";OFS="-"}{print $2,$1}' data.txt
female-小红
female-小花
male-小明
female-小可
male-小林
male-小飞
male-小波
male-小康
male-小雷
female-小冰
定义表头
-> # awk '
> BEGIN {print "Name" "\t" "Gender" "\t" "Grade" "\t" "Addr" "\t" "Score" "\t" "VIP"}
> NF == 6 {print $0}
> END {print "----------end-----------"}' data.txt
Name Gender Grade Addr Score VIP
小红 female 一年级 BeiJing 90 Yes
小林 male 一年级 ChongQing 90 Yes
小波 male 一年级 HangZhou 90 No
小康 male 四年级 ShenZhen 65 No
----------end-----------
统计当前文件夹下,文件总大小
[root@VM_0_8_centos test]# ls -l
total 8
-rw-r--r-- 1 root root 367 Sep 16 11:51 data.txt
-rw-r--r-- 1 root root 1803 Aug 17 00:14 test.cpp
[root@VM_0_8_centos test]# ls -l | awk 'BEGIN {size=0} {size+=$5} END {print "Size is " size}'
Size is 2170
统计文件中非空行的行数
[root@VM_0_8_centos test]# cat demo.txt
11111 22222 33333
44444
[root@VM_0_8_centos test]# awk 'BEGIN {count=0} $0 !~ /^$/ {count += 1} END {print "Not empty line count " count}' demo.txt
Not empty line count 4
统计女生的数量
-> # awk '
> BEGIN {count = 0}
> {
> if ($2 == "female") {
> name[count++] = $1
> }
> }
> END {
> print "tot " count
> for (i = 0; i < count; i++) {
> print name[i]
> }
> }' data.txt
tot 4
小红
小花
小可
小冰
Linux awk使用方法~~整理的更多相关文章
- klia linux tools 使用方法整理
第一部分 信息收集工具 1.Zenmap 和nmap 作用是一样的,只是使用的操作方式不一样, Zenmap使用 的GUI,nmap 是基于命令行的.在两个使用的命令是一样的. 使用SYN扫描 就 ...
- Linux awk命令常见使用方法介绍
Linux awk命令常见使用方法介绍 By:授客 QQ:1033553122 awk运行方式有三种,其中常用的为命令行方式 awk [-F field_separator] '{patter ...
- linux 常用命令--------雪松整理
linux 常用命令--------雪松整理 博客: http://hi.baidu.com/quanzhou722/blog错误在所难免,还望指正!========================= ...
- linux awk命令详解
linux awk命令详解 简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...
- Kali Linux渗透基础知识整理(四):维持访问
Kali Linux渗透基础知识整理系列文章回顾 维持访问 在获得了目标系统的访问权之后,攻击者需要进一步维持这一访问权限.使用木马程序.后门程序和rootkit来达到这一目的.维持访问是一种艺术形式 ...
- Kali Linux渗透基础知识整理(二)漏洞扫描
Kali Linux渗透基础知识整理系列文章回顾 漏洞扫描 网络流量 Nmap Hping3 Nessus whatweb DirBuster joomscan WPScan 网络流量 网络流量就是网 ...
- Linux进程管理知识整理
Linux进程管理知识整理 1.进程有哪些状态?什么是进程的可中断等待状态?进程退出后为什么要等待调度器删除其task_struct结构?进程的退出状态有哪些? TASK_RUNNING(可运行状态) ...
- linux awk浅析(转)
Awk 是一种非常好的语言,同时有一个非常奇怪的名称.在本系列(共三篇文章)的第一篇文章中,Daniel Robbins 将使您迅速掌握 awk 编程技巧.随着本系列的进展,将讨论更高级的主题,最后将 ...
- linux 服务器常用命令整理
linux 服务器常用命令整理 目录 网络分析 - tcpdump \ telnet \ (netstat \ ss \ lsof) \ nload 网络传输 - scp \ rsync \ (rz ...
随机推荐
- 企业级仓库harbor搭建
1.Harbor是什么? Harbor是Vmvare中国团队开发的开源registry仓库,相比docker官方拥有更丰富的权限权利和完善的架构设计,适用大规模docker集群部署提供仓库服务.在企业 ...
- SSL 原理及 https 配置
目录 1. SSL 原理 1.1. SSL 简介 1.2. 主要概念 1.3. 建立安全连接的过程 2. https 配置 (以 nginx 为例) SSL 原理 SSL 简介 SSL (Secure ...
- 创建 tomcat 服务的镜像
如何设计 Tomcat 的 Dockerfile $ sudo docker search tomcat |wc -l 285 在 dockerhub 上搜索与 tomcat 相关的镜像,有如此之多的 ...
- linux学习笔记整理(二)
第三章 Linux基本命令操作本节所讲内容:3.1 Linux终端介绍 Shell提示符 Bash Shell基本语法3.2 基本命令的使用:ls.pwd.cd.history3.3 查看系统和BIO ...
- java中伪共享问题
伪共享(False Sharing) 原文地址:http://ifeve.com/false-sharing/ 作者:Martin Thompson 译者:丁一 缓存系统中是以缓存行(cache l ...
- yum安装提示Another app is currently holding the yum lock; waiting for it to exit...
在Linux系统中使用yum安装软件时,提示yum处于锁定状态 Another app is currently holding the yum lock; waiting for it to exi ...
- 8.04-book
import requests from lxml import etree from bs4 import BeautifulSoup import json class BookSpider(ob ...
- 最简单的C#UDP通讯示例
参考:https://www.cnblogs.com/zxyc2000/articles/2846662.html 和 https://www.cnblogs.com/mq0036/p/7302605 ...
- Md5的生成
1.使用hashlib包(一) import hashlib src = 'anthing' m1 = hash.new() m1.update(src) print (m1.hexdigest()) ...
- ubantu服务器配置ss
阿里云 ubantu16.0(自带pip) 服务端 $ apt-get install python-pip $ pip install shadowsocks $ vim /etc/shadowso ...