使用 awk 命令统计文本

2022-04-19 11:25:15.008,b4d13bfca8fe4b93a85e65a88520d945,LogScheduler#printLog,10ms,Y,xxxxxxxx

2022-04-19 12:01:15.002,4d10d093dce8491c8ae3c1bff6dbd7c5,LogScheduler#printLog,999ms,N,xxxxxxxx

2022-04-19 12:12:16.003,d9d1f4b121764edb8cb260417cd75229,LogScheduler#printLog,5ms,Y,xxxxxxxx

2022-04-19 12:15:22.004,e3e10340e51c49ce9d688541ba799283,LogScheduler#printLog,1001ms,N,xxxxxxxx

2022-04-19 12:55:59.005,209d2f1407894da5aa0f44de621515c7,LogScheduler#printLog,1020ms,Y,xxxxxxxx

2022-04-19 13:25:15.006,e09f75c6d0d849068ae713820c94f3f9,LogScheduler#printLog,15ms,Y,xxxxxxxx

2022-04-19 13:25:15.008,b4d13bfca8fe4b93a85e65a885231231,LogScheduler#printLog,99ms,Y,xxxxxxxx

有那么一段日志，需要统计出来以下信息：

输出耗时超过 1000ms 并且结果是 Y 的整行
12:00 ~ 13:00 之间成功的行数，成功率

日志格式：时间,traceId,类方法名,耗时,结果,内容

看到这里，如果小伙伴已经有思路了，那就没必要往下面看了，直接拉到最后，点赞、在看。

这里要使用的就是 awk 命令。

常用内置变量

awk 的主要功能就是对文本进行统计报告，具体介绍可以看菜鸟笔记，下面仅介绍几个常用的内置变量。

FS：行字段分隔符，默认是空格，可以使用-F指定分隔符
$0、$1……：行字段分隔符分割后获取指定部分，$0 是获取整行记录
NF：当前行的字段数量
RS：行记录分隔符
NR：行号

大概常用的就这几个，下面看一下实际使用效果

效果展示

notes  % > awk '{print $0}' c.log

因为 $0 就代表整行记录，所以输出结果如下。

那 $1 的结果呢？

因为默认是空格作为分隔符，所以输出的结果就只有日期了。

指定分隔符为,之后，看一下输出结果：

题目答案

基本上熟悉了怎么使用剩下的就比较好办了。

耗时超过 1000ms 且 Y 的行

notes  % > awk -F ',' '{split($4,a,"ms"); if(a[1] > 1000 && $5 == "Y") print $0}' c.log

12:00 ~ 13:00 之间成功的行数，成功率

awk -F ',' 'BEGIN{count=0;sum=0}{if($1>="2022-04-19 12:00:00.000" && $1<"2022-04-19 13:00:00.000"){sum+=1;if($5 == "Y")count+=1}}END{print NR,count,sum,count/sum}' c.log

总记录 7 条， 12:00 ~ 13:00 之间成功的行数是 2，成功率 0.5。

总结

上面只是在工作中可能会遇到的一个场景，所以记录下来，如果小伙伴有更合适的方式来统计计算，欢迎留言。

使用 awk 命令统计文本的更多相关文章

转：使用awk命令获取文本的某一行，某一列
1.打印文件的第一列(域) : awk '{print $1}' filename2.打印文件的前两列(域) : awk '{print ...
Linux：使用awk命令获取文本的某一行，某一列
无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家.教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家.点这里可以跳转到教程.”. 1.打印文件的第一列( ...
Linux：使用awk命令获取文本的某一行，某一列；sed插入指定的内容到指定文件中
awk相关用法: 1.打印文件的第一列(域) : awk '{print $1}' filename2.打印文件的前两列(域) : aw ...
Linux中的高级文本处理命令，cut命令，sed命令，awk命令
1.2.1 cut命令 cut命令可以从一个文本文件或者文本流中提取文本列. cut语法 [root@www ~]# cut -d'分隔字符' -f fields ## 用于有特定分隔字符 [r ...
awk统计文本里某一列重复出现的次数
比如这样的场景:现在有一个文本,里面是这样的内容: NOTICE: 12-14 15:11:13: parser. * 6685 url=[http://club.pchome.net/threa ...
linux 文本分析工具---awk命令(7/1)
awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各 ...
【文本处理命令】之awk命令详解
一.awk命令简介 awk 是一种很棒的语言,它适合文本处理和报表生成,其语法较为常见,借鉴了某些语言的一些精华,如 C 语言等.在 linux 系统日常处理工作中,发挥很重要的作用,掌握了 awk将 ...
linux awk命令详解
linux awk命令详解简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...
awk命令详解
搜索纠正错误添加实例 awk 文本和数据进行处理的编程语言补充说明 awk 是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入(stdin).一个或多个文件 ...
AWK命令学习
使用方法 awk 'pattern {action}' {filenames} 尽管操作可能会很复杂,但语法总是这样,其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到 ...

随机推荐

H5图片上传插件
基于zepto,支持多文件上传,进度和图片预览,用于手机端. (function ($) { $.extend($, { fileUpload: function (options) { var pa ...
框架集（Framesets）
1.Frameset的使用所谓框架便是网页画面分成几个框窗,同时取得多个 URL.只要 <FRAMESET> <FRAME> 即可,而所有框架标记要放在一个总起的 htm ...
urlencode
urlencode()函数原理就是首先把中文字符转换为十六进制,然后在每个字符前面加一个标识符%.urldecode()函数与urlencode()函数原理相反,用于解码已编码的 URL 字符串,其原 ...
Lamp源码搭建
Lamp Centos6.5 + Apache/2.2.29 + PHP 5.3.29 + Mysql5.6.20 Apache(/usr/local/apache) PHP(/usr/local/b ...
Python基础：序列
一.概述序列类型(Sequence Types)类似于C中的数组,它是包含一组成员的连续列表,这些成员紧邻排列,并且可以通过序号(下标偏移量)访问其中的一个或多个成员.序列类型的示意图如下所示: P ...
hdu 4607 Park Visit 求树的直径
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4607 题目大意:给你n个点,n-1条边,将图连成一棵生成树,问你从任意点为起点,走k(k<=n) ...
WPF标注装饰器
标注在许多地方我们都会用到标注,比如在画图中: 在Office中: 在Foxit Reader中: 在Blend中: 等等. 简介以前,因项目上需要做标注,简单找了一下,没发现适合要求的控件(包括 ...
javascript笔记——前端实现分页和查询
//Modal function Modal(obj){ var that = this; that.ref = ""; that.obj = obj; that.init(); ...
JavaScript要点（十二） HTML DOM 事件
HTML DOM 使 JavaScript 有能力对 HTML 事件做出反应. 对事件做出反应我们可以在事件发生时执行 JavaScript,比如当用户在 HTML 元素上点击时. 如需在用户点击某 ...
shonc项目中的设计资讯模块 php 字符串操作与正则表达式 strip_tags preg_match
问题:当description 内容要求description的值选用资讯内容的前50个汉字.资讯内容可能有图片. 此时需要对输出的内容进行处理 php 正则表达式处理,编辑器输出的内容只取图片: ...