在分析nginx日志时常用命令总结【转】
1. 利用grep ,wc命令统计某个请求或字符串出现的次数
比如统计GET /app/kevinContent接口在某天的调用次数,则可以使用如下命令:
[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log | grep 'GET /app/kevinContent' | wc -l 其中cat用来读取日志内容,grep进行匹配的文本搜索,wc则进行最终的统计。
当然只用grep也能实现上述功能:
[root@Fastdfs_storage_s1 ~]# grep 'GET /app/kevinContent' /usr/local/nginx/logs/access.log -c
[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log|awk '{split($7,b,"?");COUNT[b[1]]++;}END{for(a in COUNT) print COUNT[a], a}'|sort -k1 -nr|head -n20 /
/group1/M00///wKgKylqT3OCAUrqYAAAwK2jUNaY262.png
/group1/M00///wKgKylqUxBOAFo8hAAKHUIZ3K9s443.jpg
/group1/M00///wKgKylqUrceAGkPOAAAwK2jUNaY843.png
/group1/M00///wKgKylqTsFCAdeEuAAKHUIZ3K9s287.png
/group2/M00///wKgKy1qUtu2Acai1AAKHUIZ3K9s555.jpg
/favicon.ico
/group2/M00///wKgKy1qT3P-Ae-vQAAKHUIZ3K9s459.png
/group2/M00///wKgKy1qT3P-Ae-vQAAKHUIZ3K9s459.jpg
/group1/M00///wKgKylqUyMuAdkLwAAAwK2jUNaY176.png
/group1/M00///wKgKylqUtuyAA5xrAAKHUIZ3K9s226.jpg
/group1/M00///wKgKylqUscKAa4NXAAKHUIZ3K9s530.jpg
/group1/M00///wKgKylqTsFCAdeEuAAKHUIZ3K9s287.jpg
/group1/M00///wKgKylqT4ESAHdNjAAKHUIZ3K9s730.jpg
/group1/M00///wKgKylqT3-6AbEeUAAKHUIZ3K9s742.png
解释说明:
这里
awk
是按照空格把每一行日志拆分成若干项,其中$7对应的就是URL,当然具体对应的内容和使用nginx时设置的日志格式有关。
这样就可以通过拆分提取出IP,URL,状态码等信息。
split
是
awk
的内置函数,在此的意思是按照“?”将URL进行分割得到一个数组,并赋值给b。
COUNT[b[1]]++表示相同的接口数目加1。
sort
用来排序,-k1nr表示要把进行排序的第一列作为数字看待,并且结果倒序排列。
head
-n20意为取排名前二十的结果。
3. 统计报错的接口
统计nginx日志中报错较多的接口,对于分析服务器的运行情况很有帮助,也可以有针对性的修复bug和性能优化。
[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log|awk '{if($9==500) print $0}'|awk '{split($7,b,"?");COUNT[b[1]]++;}END{for(a in COUNT) print COUNT[a], a}'|sort -k -nr|head -n10 先用awk’{if(==)print0}’过滤出500错误的日志,然后在此基础上做统计,其思路同2类似!
通过统计响应状态码可以看出服务器的响应情况,比如499较多时可以判断出服务器响应缓慢,再结合3可以找出响应慢的接口,
这样就能有针对性进行性能分析和优化。 [root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log |awk '{counts[$(9)]+=1}; END {for(code in counts) print code, counts[code]}'| sort -k -nr
5. 统计服务器并发量
[root@Fastdfs_storage_s1 ~]# cat /usr/local/nginx/logs/access.log |grep '10.15.19.138'| awk '{COUNT[$4]++}END{for( a in COUNT) print a,COUNT[a]}'
|sort -k -nr|head -n20 nginx转发请求时可以记录响应请求的服务器IP,先通过grep过滤出某个服务器所有的请求,然后统计各个时间点的并发请求响应的数量即可得到某个服务器的并发量。
$4对应的是响应时间。当然,如果把grep的内容更换成某个接口也就可以统计出该接口对应的并发量了。
6. grep多条件与或操作
有时候我们需要在nginx日志通过多个条件来查找某些特定请求,比如我需要找个某个用户浏览文章的请求,则可以需要同时匹配两个条件:
浏览文章接口GET /app/kevinContent和userId=59h7hrrn。 grep对应的与操作命令如下:
[root@Fastdfs_storage_s1 ~]# grep -E "GET /app/kevinContent.*userId=59h7hrrn" /usr/local/nginx/logs/access.log grep与命令格式: grep -E “a.*b” file,ab条件同时成立
而grep或命令的格式为:grep -E “a|b” file ,ab两个条件有一个成立即可。
7. grep打印匹配的前后几行
有时候我们需要查找某个特定请求的前后几行的请求,以观察用户的关联操作情况。grep提供了一下几条命令:
# grep -C 'parttern' inputfile //打印匹配行的前后5行。
# grep -A 'parttern' inputfile //打印匹配行的后5行
# grep -B 'parttern' inputfile //打印匹配行的前5行 grep -An 或grep -A n
grep -Bn 或grep -B n
grep -Cn 或grep -C n
如下,打印出access.log日志文件中匹配
/app/kevinContent
关键字符所在行的前后各10行
[root@Fastdfs_storage_s1 ~]
# grep -C 10 'GET /app/kevinContent' /usr/local/nginx/logs/access.log
转自
针对Nginx日志的相关运维操作记录 - 散尽浮华 - 博客园 https://www.cnblogs.com/kevingrace/p/8483089.html
在分析nginx日志时常用命令总结【转】的更多相关文章
- Nginx Access Log日志统计分析常用命令
Nginx Access Log日志统计分析常用命令 IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时 ...
- 转 Nginx Access Log日志统计分析常用命令
Nginx Access Log日志统计分析常用命令Nginx Access Log日志统计分析常用命令IP相关统计 统计IP访问量 awk '{print $1}' access.log | sor ...
- 烂泥:利用awstats分析nginx日志
本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 昨天把nginx的日志进行了切割,关于如何切割nginx日志,可以查看<烂泥:切割 ...
- 使用Docker快速部署ELK分析Nginx日志实践
原文:使用Docker快速部署ELK分析Nginx日志实践 一.背景 笔者所在项目组的项目由多个子项目所组成,每一个子项目都存在一定的日志,有时候想排查一些问题,需要到各个地方去查看,极为不方便,此前 ...
- elk实战分析nginx日志文档
elk实战分析nginx日志文档 架构: kibana <--- es-cluster <--- logstash <--- filebeat 环境准备:192.168.3.1 no ...
- 使用Docker快速部署ELK分析Nginx日志实践(二)
Kibana汉化使用中文界面实践 一.背景 笔者在上一篇文章使用Docker快速部署ELK分析Nginx日志实践当中有提到如何快速搭建ELK分析Nginx日志,但是这只是第一步,后面还有很多仪表盘需要 ...
- elk平台分析nginx日志的基本搭建
一.elk套件介绍 ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成.官方网站: https://www.elastic.co/products El ...
- 一天,python搞个分析NGINX日志的脚本
准备给ZABBIX用的. 统计接口访问字次,平均响应时间,4XX,5XX次数 以后可以再改进.. #!/usr/bin/env python # coding: utf-8 ############# ...
- 利用python分析nginx日志
最近在学习python,写了个脚本分析nginx日志,练练手.写得比较粗糙,但基本功能可以实现. 脚本功能:查找出当天访问次数前十位的IP,并获取该IP来源,并将分析结果发送邮件到指定邮箱. 实现前两 ...
随机推荐
- 【BZOJ1821】[JSOI2010]部落划分(二分,并查集)
[BZOJ1821][JSOI2010]部落划分(二分,并查集) 题面 BZOJ 洛谷 题解 二分答案,把距离小于二分值的点全部并起来,\(\mbox{check}\)一下是否有超过\(K\)个集合就 ...
- 洛谷 P2158 [SDOI2008]仪仗队 解题报告
P2158 [SDOI2008]仪仗队 题目描述 作为体育委员,C君负责这次运动会仪仗队的训练.仪仗队是由学生组成的N * N的方阵,为了保证队伍在行进中整齐划一,C君会跟在仪仗队的左后方,根据其视线 ...
- time时间模块(十八)
import time # timestamp to struct print(time.localtime()) print(time.time()) # time struct to timest ...
- JS中every()和some()的用法
every()与some()方法都是JS中数组的迭代方法. every()是对数组中每一项运行给定函数,如果该函数对每一项返回true,则返回true. some()是对数组中每一项运行给定函数,如果 ...
- Linux下 查找大文件
find ./ -size +50M 显示当前路径下,大于50M的文件.(包含子文件夹内的文件)
- Linux 防火墙iptables开放特定端口
1.查看状态:iptables -L -n2.直接编辑:vi /etc/sysconfig/iptables3.端口开放:-A INPUT -m state --state NEW -m tcp -p ...
- Django 2.0.3 使用笔记
运行环境: Python 3.5.2 Django 2.0.3 Django Admin中model显示为中文 定义model时,定义一个Meta对象,设置需要显示的中文名称.verbose_name ...
- Java 基础生词表
class [klɑːs] : 类 (计算机科学); public ['pʌblɪk] : 公众的; void [vɒɪd] : 无返回类型; main [meɪn] : 主要的; static [' ...
- AbstractQueuedSynchronizer同步队列与Condition等待队列协同机制
概要: AQS维护了一个同步队列 Condition是JUC的一个接口,AQS的ConditionObject实现了这个接口,维护了一个等待队列(等待signal信号的队列) 线程调用reentran ...
- bzoj千题计划300:bzoj4823: [Cqoi2017]老C的方块
http://www.lydsy.com/JudgeOnline/problem.php?id=4823 讨厌的形状就是四联通图 且左右各连一个方块 那么破坏所有满足条件的四联通就好了 按上图方式染色 ...