《Linux 文本处理》- awk 分析 nginx 日志
废话不多说,简单了解一下 awk
- 强大的文本分析工具,也就是分析日志
最常用的就是分析日志了吧,做统计什么,这里也拿 nginx 日志来做分析
1:统计出现次数
- 比如状态码出现次数
- 先直接上命令
awk '{print $9}' access_log | sort | uniq -c | sort -rn
- 可能会有一些疑惑,这个$9 是什么?
- 我们拿出一条日志来看一下先
/Oct/::: +] 123.124.16.83 192.168.240.255
- 我们可以看到我们需要状态码的状态码,但是,他在第几位呢?
- 在 awk 中,只要碰到空格,就说明它占了一位,也就是说
-   
$ 123.124.16.83 $ - $ - $ [/Oct/::: .... SO $ 状态码
 
-   
 
- 这样我们就找到我们的状态码,之后的 sort | uniq 命令,可以自己看下,会更好的理解这个命令
2:筛选特定的日志
- 比如我们发现了异常,要找到所有状态码为 302 的 access_log
- 直接上命令
awk '$9~/302/{print}' accrss_log
- 之前我们已经找到了 $9 是我们的状态码
- 这里使用了 正则 匹配所有等于 302 的状态码
- 当然,awk 也支持其他的方式
比如,使用 == 来匹配 awk '$9=="302" {print}' access_log
- 这里列出条件操作符
< 小于 <= 小于等于 == 等于 != 不等于 > 大于 >= 大于等于 ~ 匹配正则表达式 !~ 不匹配正则表达式
《Linux 文本处理》- awk 分析 nginx 日志的更多相关文章
- shell脚本分析nginx日志
		
shell脚本分析nginx日志: name=`awk -F ',' '{print $13":"$32}' $file | awk -F ':' '{print $4}'`ech ...
 - 烂泥:利用awstats分析nginx日志
		
本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 昨天把nginx的日志进行了切割,关于如何切割nginx日志,可以查看<烂泥:切割 ...
 - elk实战分析nginx日志文档
		
elk实战分析nginx日志文档 架构: kibana <--- es-cluster <--- logstash <--- filebeat 环境准备:192.168.3.1 no ...
 - elk平台分析nginx日志的基本搭建
		
一.elk套件介绍 ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products El ...
 - 一天,python搞个分析NGINX日志的脚本
		
准备给ZABBIX用的. 统计接口访问字次,平均响应时间,4XX,5XX次数 以后可以再改进.. #!/usr/bin/env python # coding: utf-8 ############# ...
 - 利用python分析nginx日志
		
最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...
 - hive分析nginx日志之UDF清洗数据
		
hive分析nginx日志一:http://www.cnblogs.com/wcwen1990/p/7066230.html hive分析nginx日志二:http://www.cnblogs.com ...
 - awstat分析nginx日志
		
awstat分析nginx日志 http://lxw66.blog.51cto.com/5547576/1323712 server{ listen ; server_name localhost; ...
 - 使用Hive的正则解析器RegexSerDe分析nginx日志
		
1.环境: hadoop-2.6.0 + apache-hive-1.2.0-bin 2.使用Hive分析nginx日志,站点的訪问日志部分内容为: cat /home/hadoop/hivetest ...
 
随机推荐
- 如何在Excel中提取小数点后面的数字?
			
Excel中,如果某个单元格中包含一个带小数,要用公式提取该数值小数点后面的数字,例如A1单元格中包含一个数值“59178.68”,在B1单元格中输入下面的公式: =RIGHT(A1,LEN(A1)- ...
 - Extjs4.2x与富文本框编辑器KindEditor的整合
			
Extjs4本身的HtmlEditor编辑器,太鸡肋了,简单的html能够应付一下,稍加复杂的就无能为力了. 对于Extjs的HtmlEditor扩展主要有三个方向,一个是扩展其本身的htmlEdit ...
 - MyCAT简易入门 (Linux)
			
MyCAT是mysql中间件,前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之.于是MyCAT扛起了这面大旗,在大数据时代,其重要性愈发彰显.这篇文章主要是MyCAT的入门部署. ...
 - 修改git用户密码
			
第一步:登录git服务器: 第二步:切换到git用户 su git 第三步:登录GitLab的Rails控制台(GitLab使用RoR语言开发), gitlab-rails console produ ...
 - [UFLDL] Linear Regression & Classification
			
博客内容取材于:http://www.cnblogs.com/tornadomeet/archive/2012/06/24/2560261.html Deep learning:六(regulariz ...
 - [Laravel] 12 - WEB API : cache implement
			
前言 Ref: https://www.imooc.com/video/2873 服务端如何为客户端(app)的首页提供数据接口, 本篇用此作为例子演示接口的实现. 单例模式 一.三大原则 单例实现 ...
 - Python2.7字符编码详解
			
目录 Python2.7字符编码详解 声明 一. 字符编码基础 1.1 抽象字符清单(ACR) 1.2 已编码字符集(CCS) 1.3 字符编码格式(CEF) 1.3.1 ASCII(初创) 1.3. ...
 - fs项目---->async/await的学习(一)
			
2018-07-11号,我来到了fs项目组担任后端开发的角色.这是我来thoughtworks以来首个的正式项目,不管是在技术还是在敏捷的实践中都是受益匪浅.来感受tw特殊的文化的同时,我希望自己能够 ...
 - [原]Jenkins(三)---Jenkins初始配置和插件配置
			
/** * lihaibo * 文章内容都是根据自己工作情况实践得出. *版权声明:本博客欢迎转发,但请保留原作者信息! http://www.cnblogs.com/horizonli/p/5331 ...
 - Arduino基本数据类型
			
基本数据类型简介 常见的Arduino是基于ATmega的8位 AVR单片机,例如Arduino UNO ,Arduino Nano,Arduino mega2560等.还有高级点 32位的,如Ard ...