python统计nginx脚本信息

#!/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import json import subprocess import threading #统计10个最频繁访问的ip ip_raw = subprocess.Popen("cut -d ' ' -f1 host.access.log.* | sort | uniq -c | sort -rn | head -n 10 | awk '{print $2}'",s…

通过python统计nginx日志定位php网站响应慢的问题

# 公司网站反映很慢,可能是一些页面的访问方法或者页面引起,通过程序统计nginx访问日志的页面和具体的action方法访问次数以及平均响应时间可以为程序开发的同事提供参考定位具体的代码 # 默认的nginx日志 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http…

使用Python 统计nginx日志前十ip访问量并以柱状图显示

脚本内容: import matplotlib.pyplot as plt # nginx_file = '10.6.11.91_access.log-2018-12-27' ip = {} #筛选nginx日志文件中的IP with open(nginx_file) as f: for i in f.readlines(): s = i.strip().split()[0] lengh = len(ip.keys()) #统计每个IP的访问以字典存储 if s in ip.keys(): ip…

python 统计MySQL表信息

一.场景描述线上有一台MySQL服务器,里面有几十个数据库,每个库有N多表. 现在需要将每个表的信息,统计到excel中,格式如下: 库名表名表说明建表语句 db1 users 用户表 CREATE TABLE `users` (...) 二.需求分析怎么做呢? 1. 手动录入(太TM苦逼了,那么多表呀...) 2. 使用Python自动录入(Great) 三.获取相关信息需要利用的技术点,有2个.一个是pymysql(连接mysql),一个是xlwt(写入excel) 安装模块 p…

SQL Server 监控统计阻塞脚本信息

数据库产生阻塞(Blocking)的本质原因 :SQL语句连续持有锁的时间过长 ,数目过多, 粒度过大.阻塞是事务隔离带来的副作用,它是不可避免的,而且是一个数据库系统常见的现象. 但是阻塞的时间和出现频率要控制在一定的范围内,阻塞持续的时间过长或阻塞出现过多(过于频繁),就会对数据库性能产生严重的影响. 很多时候,DBA需要知道数据库在出现性能问题时,有没有发生阻塞? 什么时候开始的?发生在那个数据库上? 阻塞发生在那些SQL语句之间? 阻塞的时间有多长? 阻塞发生的频率? 阻…

利用python获取nginx服务的ip以及流量统计信息

#!/usr/bin/python #coding=utf8 log_file = "/usr/local/nginx/logs/access.log" with open(log_file) as f: contexts = f.readlines() # define ip dict### ip = {} # key为ip信息,value为ip数量(若重复则只增加数量) flow = {} # key为ip信息,value为流量总和 sum = 0 for line in cont…

python统计apache、nginx访问日志IP访问次数并且排序（显示前20条）【转】

前言:python统计apache.nginx访问日志IP访问次数并且排序(显示前20条).其实用awk+sort等命令可以实现,用awk数组也可以实现,这里只是用python尝试下. apache脚本: ips = {} with open("/root/mail_access_log-20180629") as fh: for line in fh: ip = line.split(" ")[0] if 6 < len(ip) <=15: ips…

怎么样通过编写Python小程序来统计测试脚本的关键字

怎么样通过编写Python小程序来统计测试脚本的关键字通常自动化测试项目到了一定的程序,编写的测试代码自然就会很多,如果很早已经编写的测试脚本现在某些基础函数.业务函数需要修改,那么势必要找出那些引用过这个被修改函数的地方,有些IDE支持全文查找和引用查找,而有些简单的可能就没有,因为日后要用到统计功能.和一些其它的需求,所以写了一个脚本.除了跟目录下全文查找引用过的文件外,还是支持统计查找到的数量,一次可以查找多个关键字,支持按主关键字来归类. #encoding: utf-8 import…

第一篇：Win10系统搭建Python+Django+Nginx+MySQL 开发环境详解（完美版）

Win10+Python+Django+Nginx+MySQL 开发环境搭建详解 PaulTsao 说明:本文由作者原创,仅供内部参考学习与交流,转载引用请注明出处,用于商业目的请联系作者本人. Win10+Python+Django+Nginx+MySQL 开发实例,共有三篇教程: 第一篇:Win10系统搭建Python+Django+Nginx+MySQL 开发环境搭建(完美版) 第二篇:Win10+Python+Django+Nginx+MySQL 中,用Python连通操作MySQL 第…

用 Python 替代 Bash 脚本（转）

add by zhj: 其实作者是想说用Python来做那些Bash实现起来比较麻烦的部分,即将Bash与Python结合使用. 英文原文:http://www.linuxjournal.com/content/python-scripts-replacement-bash-utility-scripts 作者:Richard Delaney 翻译原文:http://www.oschina.net/translate/python-scripts-replacement-bash-utility…

Linux yum的配置 , python环境管理, nginx搭建简单学习

Linux yum的配置 , python环境管理, nginx搭建简单学习一丶配置yum的数据仓库 ### yum 工具, 方便,自行解决软件之间的依赖关系. # 配置yum源仓库 (可以使用,清华源,阿里源) # 1.配置第一个仓库,里面有大量系统常用软件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # 2.还得配置第二个仓库,携带大量第三方软件(nginx,r…

Python数据库备份脚本

Python数据库备份脚本 #!/usr/bin/env python # author: liudong # -*- coding: utf-8 -*- # filename: db_bak.py import os import time import string import urllib,sys,urllib,json,smtplib from email.mime.text import MIMEText mailto_list=['liudong@philisense.com']…

通过ngx-lua来统计Nginx上的虚拟主机性能数据

Web server调研分析 Filed under: Web Server — cmpan @ 2012-10-29 20:38:34 摘要简单可依赖的架构首先需要有一个简单可依赖的前端WebServer集群.本文通过深入调研当前主流的异步web服务器Lighttpd和Nginx,从业界使用情况.架构原理.扩展开发.功能对比.性能对比等多个方面进行分析. 调研分析业界相关从业界使用情况来看,最新Web Server使用情况的数据如下:Nginx的使用率是6.6%,Lighttpd的使用率…

Python统计日志中每个IP出现次数

介绍了Python统计日志中每个IP出现次数的方法,实例分析了Python基于正则表达式解析日志文件的相关技巧,需要的朋友可以参考下本脚本可用于多种日志类型 #-*- coding:utf-8 -*- import re,time def mail_log(file_path): global count log=open(file_path,'r') C=r'\.'.join([r'\d{1,3}']*4) find=re.compile(C) count={} for i in log:…

Zabbix监控Nginx状态信息

首先要检查Nginx是否安装了 http_stub_status_module 模块,通过下面的命令可以看到编译参数.yum安装的默认会带有这个模块. [root@kafka60 ~]# /data/nginx/sbin/nginx -V nginx version: nginx/ built by gcc (Red Hat -) (GCC) built with OpenSSL Feb TLS SNI support enabled configure arguments: --prefix=…

python监控端口脚本[jkport2.0.py]

#!/usr/bin/env python #!coding=utf-8 import os import time import sys import smtplib from email.mime.text import MIMEText from email.MIMEMultipart import MIMEMultipart def sendsimplemail (warning): msg = MIMEText(warning) msg['Subject'] = 'python fir…

Install Python+Django+Nginx+UWSGI

一.软件环境: CentOS6.6_64bit 需要用到的软件: [root@django tools]# ll 总用量 33336 -rw-r--r-- 1 root root 7497785 3月 2 21:45 Django-1.9.12.tar.gz -rw-r--r-- 1 root root 911509 2月 27 18:32 nginx-1.10.3.tar.gz -rw-r--r-- 1 root root 1197370 3月 2 13:30 pip-9.0.1.tar.gz…

统计nginx进程占用的物理内存

#!/usr/bin/env python #-*- coding:utf-8 -*- ''' 统计nginx进程占用的物理内存 ''' import os import sys import subprocess def getPidList(proc): cmd = '''/usr/sbin/pidof %s''' % proc p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) pidList = p.stdout.r…

使用python控制nginx禁封ip

python控制nginx禁封ip nginx中的access.log最近有大量的用户访问,怎么样屏蔽掉在一定时间段内访问次数多的ip呢? 测试准备: 两个tomcat,一个nginx做均衡负载,服务器上装有python3 python脚本 #脚本每60s循环一次,抓取到超过200次以上的ip地址写入rainbol_ip.conf文件中,重启nginx禁封生效 import time import datetime import os WENJIAN='/etc/nginx/rainbol_ip…

Nginx配置信息损毁又无备份时如何恢复

worker_processes *; 本文介绍在Nginx配置信息出现问题后,在没有备份的情况下,如何利用Nginx进程的虚拟内存恢复配置信息. 问题背景假设 /etc/nginx/site-available 下有 a.example.com.conf.b.example.com.conf 两个配置文件,用于对两个域名做代理. 当不小心拷贝了以下数据,粘贴后习惯性的敲了回车键,由于命令中包含了重定向命令 "->",会直接覆盖文件,从而导致数据全部丢失. image 下面…

使用PYTHON统计项目代码行数

目录一使用PYTHON统计项目代码行数二应用实例注:原创不易,转载请务必注明原作者和出处,感谢支持! 一使用PYTHON统计项目代码行数遇到一个非常小的需求:统计一个项目里头的各类源代码共有多少行.像这种小需求,一个简单的shell脚本就能够完成的.但是我不会shell ヾ(.￣□￣)ﾂ゜゜゜.于是求助python,经过一段时间后,写了一个简单的Python脚本如下. # code_analyst.py #!/usr/bin/env python3 # -*- coding: ut…

python随机生成个人信息

python随机生成个人信息 #!/usr/bin/env python3 # -*- coding:utf-8 -*- import sys import random class PersonalInformation(): # 生成姓名 def Names_of_generated(self): list_Xing = [ '赵', '钱', '孙', '李', '周', '吴', '郑', '王', '冯', '陈', '褚', '卫', '蒋', '沈', '韩', '杨', '朱',…

python注释、脚本参数、字节码

python注释.脚本参数.字节码 --道心 python安装 1.下载安装包 https://www.python.org/downloads/ 2.安装默认安装路径:C:\python27 3.配置环境变量 [右键计算机]-->[属性]-->[高级系统设置]-->[高级]-->[环境变量]-->[在第二个内容框中找到变量名为Path 的一行,双击] --> [Python安装目录追加到变值值中,用 : 分割] 如:原来的值;C:\python27,切记前面有分号…

python统计元素重复次数

python统计元素重复次数 # !/usr/bin/python3.4 # -*- coding: utf-8 -*- from collections import Counter arr = ['BAISC', 'Python', 'BASICA', 'GVBASIC', 'GWBASIC', 'Python', 'ETBASIC', 'QBASIC', 'Quick', 'Basic', 'Turbo', 'Basic'] counts = list(Counter(arr).items…