下面是我截取一段nginx日志 /Jan/::: +] "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0" /Jan/::: +] "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0" /Jan/:::…

.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l .统计访问URL统计PV awk '{print $7}' access.log|wc -l .查询访问最频繁的URL -r|more .查询访问最频繁的IP -r|more 统计nginx日志中访问最多的100个ip及访问次数 }’ access.log| -r| --------------------- 作者:YiFeng_888 来源:CSDN 原文:https:/…

用awk可以,比如,我想统计nginx日志里,今天下午3点0分,这一分钟内,访问的流量(文件的大小) grep "07/Nov/2013:15:00:"  *.log|awk '{ SUM += $9} END { print SUM }'用这个就搞定了…

找到具有明显特征的访问记录,比如: /Dec/::: +] "-" "Ouija_x.86/2.0" "-" 也许是某个开源框架的漏洞,执行参数上带的方法,达到下载指定文件然后执行的目的,由于危险性,所以 shell_exec 这类函数默认在 php.ini 是禁用的. 匹配特征找出不重复的 IP,写入文件: $ cat /data/nginx_xxx/access.log | grep shell_exec | awk '{print $1}'…

nginx拒绝国外IP访问方法很多,比如iptables,geoip模块,域名解析等等.这些方法不会相互冲突,可以结合起来一起使用. 今天来教大家利用两个小方法解决  域名解析禁止掉海外IP访问网站. 域名解析方法: 绝大多数域名解析服务商都是提供电信联通移动海外线路区分解析的,所以我们可以充分利用这个功能,来禁止海外访问. 以阿里云DNS解析为例:       设置A记录类型       解析线路:境外       记录值:127.0.0.1 设置后等30分钟后我们再用ping工具测试下境外解…

脚本内容: import matplotlib.pyplot as plt # nginx_file = '10.6.11.91_access.log-2018-12-27' ip = {} #筛选nginx日志文件中的IP with open(nginx_file) as f: for i in f.readlines(): s = i.strip().split()[0] lengh = len(ip.keys()) #统计每个IP的访问以字典存储 if s in ip.keys(): ip…

Nginx 三种分配策略:轮询.权重.ip_hash(比如你登录了一个网站,登录信息已经保存到 a 机器,但当你做后续操作时的请求会到 b 机器,那么就获取不到你原来登录的信息,此时你就需要重新登录了.这样的情况是用户肯定不能接受的,ip_hash 模式就可以很好地解决这个问题,让每次访问能基于同一用户访问固定的服务器.) nginx日志存放路径:nginx.conf awk 常用参数是 -F 指定分隔符. sed 常用的参数有: a 表示新增: i 表示插入: c 表示取代: d 表示删除.…

来源 : http://www.ttlsa.com/nginx/nginx-deny-ip-access/   闲来无事,登陆服务器,发现有个IP不断的猜测路径.试图往服务器上传文件(木马).于是查看了之前的日志,无奈鄙站被攻击者盯上了,不断的有不同的IP试图上传木马.看来坏人还是有的.由于不想让鄙站沦为肉鸡,所以就想写个简单的脚本,来阻止攻击者的IP访问. 攻击者: 195.154.216.165 - - [28/Nov/2015:23:10:40 +0800] "POST /wp-conte…

# 公司网站反映很慢,可能是一些页面的访问方法或者页面引起,通过程序统计nginx访问日志的页面和具体的action方法访问次数以及平均响应时间可以为程序开发的同事提供参考定位具体的代码 # 默认的nginx日志 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http…

简介 限制并发连接数的模块为:http_limit_conn_module,地址:http://nginx.org/en/docs/http/ngx_http_limit_conn_module.html 限制并发请求数的模块为:http_limit_req_module,地址:http://nginx.org/en/docs/http/ngx_http_limit_req_module.html 这两个模块都是默认编译进Nginx中的. 限制并发连接数 示例配置: http { limit_c…

在nginx的访问日志中,会出现只显示IP,而不出现域名的情况,在经过尝试之后,是因为没有设置禁止IP访问导致的. 下面就是在配置文件中设置禁止IP访问,来实现日志文件中$host显示域名. vim /etc/nginx/nginx.conf server { listen 80 default; return 404; } nginx -t systemctl reload nginx 或者:nginx -s reload 查看日志.能够成功即可.…

Nginx虚拟主机配置,vhosts下面有很多域名的配置: [root@external-lb01 vhosts]# pwd/data/nginx/conf/vhosts [root@external-lb01 vhosts]# ls443-bpm.veredholdings.com.conf 80-www.bigtreefinance.com.conf fax.bigtreefinance.com.conf443-www.bigtreefinance.com.conf 80-www.bigtr…

首先建立下面的配置文件放在nginx的conf目录下面,命名为blocksip.conf: deny 95.105.25.181; 保存一下. 在nginx的配置文件nginx.conf中加入:include blocksip.conf; 重启一下nginx的服务:/usr/local/nginx/sbin/nginx -s reload 就可以生效了. blocksip.conf:的格式还有许多种,可以配置只允许的IP访问或者IP段访问: deny IP; allow IP; # block…

访问ip  awk '{print $1}' access.log| sort | uniq -c | sort -n -k 1 -r | head -n 100 访问地址 awk '{print $7}' access.log| sort | uniq -c | sort -n -k 1 -r | head -n 100…

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10…

111.225.78.157 - - [13/Aug/2019:16:03:08 +0800] "POST /api/login HTTP/1.1" 200 249 "http://admin.58zhongxun.com/admin/" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.3…

/etc/nginx/limit/white_list:白名单,key-value形式,支持掩码网段 #test 192.168.50.42 0; 192.168.50.0/24 0; /etc/nginx/limit/limit_zone: geo $whitelist { default 1; # 不匹配白名单的都标记为1 参考2 include limit/white_list; } map $whitelist $limit { 1 $binary_remote_addr; # 1 保留…

公司给出一个需求,指定时间内,统计请求driver.upload.position(司机位置上报接口)中,来源是华为push(come_from=huawei_push)的数量,要求是按天统计. 看一下url格式,url中,method参数就是所请求的接口地址 api10 /May/::: + | GET /rest?app_ver=&come_from=huawei_push&&gps_type=baidu&latitude=&longitude=&mod…

最近公司做了一个砸金蛋的活动,经过几天的发酵宣传后,每天以几万的的用户数在增长,后面才发现原来有人专门为此开发了一个全自动注册的软件 一时间网站被刷得打开异常缓慢,查看日志发现大部分都是用软件在刷,于是想到了在nginx层面去限制用户访问,百度加上自身情况改了下,大致的配置信息如下: 在nginx的http中添加如下语句 http { limit_req_zone $binary_remote_addr zone=site_com:10m rate=2r/s; ..... } 设置一个限制区域,…

在nginx.conf中的server限制段中.deny IP.表示需要限制该IP不可访问.allow IP表示权该IP可以访问. 如上图.表示阻止192.168.1.122的IP的访问.那当然也可以编辑成192.168.1.1/24网段.…

介绍 以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力. 项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能 支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 可以统计与query-times request-time status-code speed 相关的数据. 环境依赖 nginx + ngx_http_lua_modul…

我们可以通过GeoIP模块和MaxMind免费数据库来实现.MaxMind具有新版本的数据库GeoLite2,它仅支持CSV和mmdb格式.可以支持mngx_http_geoip2_modulemdb格式,但是当我检查Nginx by时nginx -V,我发现它是使用编译的with-http-geoip_module=dynamic.因为我的nginx版本是低版本 检查geoip模块是否安装 nginx -V 下载GeoIP MaxMind GeoCity和GeoCountry数据库 我们可以从…

日志格式 61.159.140.123 - - [23/Aug/2014:00:01:42 +0800] "GET /favicon.ico HTTP/1.1" 404 \ "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36 LBBROWSER" "-" 61.159…

1 vmware ESXI先创建虚拟机ROS作为路由  ROS设置两张网卡 WAN网卡对应外网IP LAN网卡对应LAN IP 设置网卡名 int set 0 name=wai                   int set 1 name=lan 配置IP地址 ip add add add=192.168.1.1/24 int=lan                    ip add add add=x.x.x.x/28 int=wan配置默认路由 ip route add des-add…

#!/usr/bin/env python # -*- coding:utf-8 -*- # Author:Random_lee import time import os import re class StatusPV(object): def __init__(self): self.log_path = '/opt/apache-tomcat-7.0.69/logs/' self.log_time = time.strftime("%Y-%m-%d") self.log_nam…

server { listen 80 default_server; server_name localhost; location / { rewrite ^ http://www.xxx.com/?from-xxx; }}…

server { listen default_server; server_name _; server_name localhost; ; }…

if ($host ~* "\d+\.\d+\.\d+\.\d+"){ ; } 其实说白了, 就是进行host主机头过滤,使用正则来判断下.…

server { listen ; server_name localhost; large_client_header_buffers 16k; client_max_body_size 300m; client_body_buffer_size 128k; proxy_connect_timeout ; proxy_read_timeout ; proxy_send_timeout ; proxy_buffer_size 64k; proxy_buffers 32k; proxy_busy_…

import timea=0while True: d={} f = open(r"/Users/**juan/Downloads/access.log",encoding="utf-8") f.seek(a) for line in f: if line.split() !="": f1=line.split(" ")[0] if f1 not in d: d[f1]=1 else: d[f1] += 1 a=f.tell(…