最近公司部署到阿里金融云的系统遭受CC攻击,网络访问安全控制仅靠阿里云防火墙保障,在接入层及应用层并未做限流. 攻击者拥有大量的IP代理,只要合理控制每个IP的请求速率(以不触发防火墙拦截为限),仍给后端服务带来了很大的压力. 起缘: 存在一个检查某手机号是否已注册接口.(用户注册或重置密码时提示用户是否已存在) /mobilePhone/existent?mobilePhone=13261748254 攻击者通过穷举调用,借此刺探出系统已注册的手机号列表. 接入层限流: 在接入层Nginx限制…

先大概说说简单的结构…前端一个Nginx反向代理,后端一个Nginx instance app for PHP…实际上就是个Discuz,之前面对CC攻击都是预警脚本或者走CDN,但是这次攻击者不再打流量,而是针对数据库请求页面进行攻击,如search操作…帖子ID F5等..从日志分析来看是从3个URL着手攻击的,当时使用Nginx 匹配$query_string 来return 503…不过会导致页面不能访问,所以想到这么一个折中的办法. 首先你看一段代理请求的NGINX日志: ##通过分析…

CC攻击即http flood,以攻击成本低(只需数台http代理服务器即可实现攻击).隐蔽性强(中小CC攻击一般不会造成网络瓶颈).难防御(与正常访问的请求很难区分开).威力强大(造成和DDOS流量攻击一样的效果,网站长时间无法打开)等特点著称.常规的http flood防御为JS弹回,二次请求验证加入白名单 和 多层缓存(七层.四层共同缓存)实现防御体.   CC攻击,首先造成的后果往往是被攻击服务器CPU爆满.内存占用高.甚至磁盘IO高占用.通常服务器上有永远处理不完的任务,所以,CC攻击…

接到一个需求, 需要对请求(GET)里面的某个参数  的特定的值, 进行限流; 因为不限流的话, 不知道什么时候这个id的请求飙一下, 服务端就被压死了... 就像这样: /index.html?id=1234, 当 id == 1234的时候, 需要进行限流,  id != 1234不管 服务端最前面用的 nginx 这里, 大神搬出的方案应该是 nginx+lua ; 网上很多介绍, 首推  开涛的公众号 但是, 但是 个人理解 lua: 优点: 可以应对更加复杂的需求, 例如智能地, 无论…

CC攻击可以归为DDoS攻击的一种.他们之间都原理都是一样的,即发送大量的请求数据来导致服务器拒绝服务,是一种连接攻击.CC攻击又可分为代理CC攻击,和肉鸡CC攻击.代理CC攻击是黑客借助代理服务器生成指向受害主机的合法网页请求,实现DOS,和伪装就叫:cc(ChallengeCollapsar).而肉鸡CC攻击是黑客使用CC攻击软件,控制大量肉鸡,发动攻击,相比来后者比前者更难防御.因为肉鸡可以模拟正常用户访问网站的请求.伪造成合法数据包.防御CC攻击可以通过多种方法,禁止网站代理访问,尽量将…

Nginx限流模式(防范DDOS攻击) nginx中俩个限流模块: 1.ngx_http_limit_req_module(按请求速率限流) 2.ngx_http_limit_conn_module(按连接数限流) 放到nginx配置文件中:(这是完整配置哦~) http { limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s; limit_conn_zone $binary_remote_addr zone=mylimit…

文章原创于公众号:程序猿周先森.本平台不定时更新,喜欢我的文章,欢迎关注我的微信公众号. 在当今流量徒增的互联网时代,很多业务场景都会涉及到高并发.这个时候接口进行限流是非常有必要的,而限流是Nginx最有用的特性之一,而且也是最容易被错误配置的特性之一.本篇文章主要讲讲Nginx如何对接口进行限流. Nginx限流主要分为两种方式: 限制访问频率 限制并发连接数 为什么需要限流?开源人员可以通过限流限制访问速度来防止外部暴力扫描,或者减少密码被暴力破解的可能性.也可以解决流量突发问题(如线上活…

典型服务架构介绍 预案适用场景 监控指标 操作手册 相关文档 操作方法 配置语法 配置样例 配置解释 注意事项 典型服务架构介绍 典型的互联网服务访问链路都是分层结构的,从流量入口,到应用层,到后端资源层:其中流量入口可能会有4层负载均衡.7层负载均衡,负载均衡也可能有多层:流量打到应用层之后,就要看具体的业务场景了,不同的业务可能会有不同的依赖请求,包括对第三方服务的或者对缓存.数据库.队列等资源的访问. ┌──────────────────┐ │ LB - layer 4 │ └─────…

前言 在开发十万博客系统的的过程中,前面主要分享了爬虫.缓存穿透以及文章阅读量计数等等.爬虫的目的就是解决十万+问题:缓存穿透是为了保护后端数据库查询服务:计数服务解决了接近真实阅读数以及数据库服务的压力. 架构图 限流 就拿十万博客来说,如果存在热点文章,可能会有数十万级别的并发用户参与阅读.如果想让这些用户正常访问,无非就是加机器横向扩展各种服务,但凡事都有一个利益平衡点,有时候只需要少量的机器保证大部分用户在大部分时间可以正常访问即可. 亦或是,如果存在大量爬虫或者恶意攻击,我们必须采取一…

开发访问量比较大的系统是,爬虫的目的就是解决访问量大的问题:缓存穿透是为了保护后端数据库查询服务:计数服务解决了接近真实访问量以及数据库服务的压力. 架构图 限流 就拿十万博客来说,如果存在热点文章,可能会有数十万级别的并发用户参与阅读.如果想让这些用户正常访问,无非就是加机器横向扩展各种服务,但凡事都有一个利益平衡点,有时候只需要少量的机器保证大部分用户在大部分时间可以正常访问即可. 亦或是,如果存在大量爬虫或者恶意攻击,我们必须采取一定的措施来保证服务的正常运行.这时候我们就要考虑限流来保证…

目录 nginx防止DDOS攻击 概述 攻击手段 配置 限制请求率 限制连接的数量 关闭慢连接 设置 IP 黑名单 设置IP白名单 小站点解决方案 nginx防止CC攻击 概述 主动抑制方法 应用举例(Discuz!) 被动防御方法 拒绝IP地址 预防爬虫攻击 概述 利用http_user_agent 利用Robots.txt 扩展了解 nginx防止DDOS攻击 概述 信息安全的三要素:"保密性"."完整性"和"可用性"中,DoS(Denial…

前言 前阵子有网友询问,如何优化网站?这个问题真的很大,跟他简单的聊了一下,随便说了几点,觉得有必要整理一篇文章出来,正好前阵子在做爬虫博客,于是把大体思路分享出来,与大家互通有无,共同进步. 优化 版本一 系统开始是这样子的,一个 Tomcat 拖着一个 MySql 服务,跑在一个 2C 4G 的Linux服务器上,所有的请求都走 Tomcat,所有的查询都走 MySql,看起来像一句废话? 资源是有限的,那么如何有效的利用资源,提升服务性能?Tomcat 号称能抗住数十万并发访问,但是这事也…

一.概述 1.1 高并发服务限流特技 1.2 为什么要互联网项目要限流 1.3 高并发限流解决方案 二.限流算法 2.1 计数器 2.2 滑动窗口计数 2.3 令牌桶算法 使用RateLimiter实现令牌桶限流 2.4 漏桶算法 三.应用级限流 3.1 限流总并发/连接/请求数 3.2 限流某个接口的总并发/请求数 3.3 限流某个接口的时间窗请求数 3.4 接入层限流 一.概述 1.1 高并发服务限流特技 在开发高并发系统时有三把利器用来保护系统:缓存.降级和限流. 缓存的目的是提升系统访问…

背景知识 CC 攻击 攻击者通过创建大量请求导致服务器资源耗尽,主要针对特定服务接口,属于实现 DoS 攻击的一种方式(DoS 攻击更多是针对网络端口,而不是具体服务接口). NGINX 流控 limit_req_zone:通过"漏桶"算法限制每个 IP 发起的请求频率. limit_conn_zone:限制每个 IP 发起的连接数. fail2ban 通过匹配服务器日志操作 iptables 来限制客户端网络连接. 实践配置 NGINX 部分 在 http 部分中配置: limit_…

nginx的限流问题 http{ limit_req_zone $binary_remote_addr zone=req_one:10m rate=100r/s;server{ listen 8080;server_name localhost;location /server1/ {limit_req zone=req_one burst=10;} }} 解释: rate=100r/s  意思是每个地址每秒只能请求100次. burst=10     表示 一共有10块令牌,并且每秒钟只新增1…

原文链接:http://colobu.com/2015/10/26/nginx-limit-modules/?utm_source=tuicool&utm_medium=referral 电商平台营销时候,经常会碰到的大流量问题,除了做流量分流处理,可能还要做用户黑白名单.信誉分析,进而根据用户ip信誉权重做相应的流量拦截.限制流量.Nginx自身有的请求限制模块ngx_http_limit_req_module.流量限制模块ngx_stream_limit_conn_module基于令牌桶算法…

Nginx 限流 电商平台营销时候,经常会碰到的大流量问题,除了做流量分流处理,可能还要做用户黑白名单.信誉分析,进而根据用户ip信誉权重做相应的流量拦截.限制流量.Nginx自身有的请求限制模块ngx_http_limit_req_module.流量限制模块ngx_stream_limit_conn_module基于令牌桶算法,可以方便的控制令牌速率,自定义调节限流,实现基本的限流控制. 对于提供下载的网站,肯定是要进行流量控制的,例如软件下载站.视频服务等.它也可以减少一些爬虫程序或者DDO…

电商平台营销时候,经常会碰到的大流量问题,除了做流量分流处理,可能还要做用户黑白名单.信誉分析,进而根据用户ip信誉权重做相应的流量拦截.限制流量.Nginx自身有的请求限制模块ngx_http_limit_req_module.流量限制模块ngx_stream_limit_conn_module基于令牌桶算法,可以方便的控制令牌速率,自定义调节限流,实现基本的限流控制. 对于提供下载的网站,肯定是要进行流量控制的,例如软件下载站.视频服务等.它也可以减少一些爬虫程序或者DDOS的攻击. 对这两…

限流算法 令牌桶算法 算法思想是: 令牌以固定速率产生,并缓存到令牌桶中: 令牌桶放满时,多余的令牌被丢弃: 请求要消耗等比例的令牌才能被处理: 令牌不够时,请求被缓存. 漏桶算法 算法思想是: 水(请求)从上方倒入水桶,从水桶下方流出(被处理): 来不及流出的水存在水桶中(缓冲),以固定速率流出: 水桶满后水溢出(丢弃). 这个算法的核心是:缓存请求.匀速处理.多余的请求直接丢弃. 相比漏桶算法,令牌桶算法不同之处在于它不但有一只"桶",还有个队列,这个桶是用来存放令牌的,队列才是用…

1.前言 一般对外暴露的系统,在促销或者黑客攻击时会涌来大量的请求,为了保护系统不被瞬间到来的高并发流量给打垮, 就需要限流 . 本文主要阐述如何用nginx 来实现限流. 听说 Hystrix 也可以, 各位有兴趣可以去研究哈 . 2. 首先部署一个对外暴露接口的程序 我这里部署的是一个spring boot 项目 里面暴露了如下接口, 很简单 package com.anuo.app.controller; import org.slf4j.Logger; import org.slf4j.…

NGINX 上的限流(译) zlup YP小站  今天 前言 本文是对Rate Limiting with NGINX and NGINX Plus的主要内容(去掉了关于NGINX Plus相关内容)的翻译. 限流(rate limiting)是NGINX众多特性中最有用的,也是经常容易被误解和错误配置的,特性之一.该特性可以限制某个用户在一个给定时间段内能够产生的HTTP请求数.请求可以简单到就是一个对于主页的GET请求或者一个登陆表格的POST请求. 限流 也可以用于安全目的上,比如减慢暴力…

一,limit_req的用途: 1,官方文档地址: http://nginx.org/en/docs/http/ngx_http_limit_req_module.html 2,用途: 限制用户在给定时间内HTTP请求的数量, 流量限制主要用作安全目的, 可以防止大量请求的攻击下服务被压垮, 可以减慢暴力密码破解的速率 3,原理:漏桶算法 在limit_req的限制下,请求被nginx以固定的速率处理,这个符合漏桶算法, 即流出的速率恒定. 说明:刘宏缔的架构森林是一个专注架构的博客,地址:ht…

OpenResty(nginx扩展)实现防cc攻击 导读 OpenResty 通过汇聚各种设计精良的 Nginx 模块(主要由 OpenResty 团队自主开发),从而将 Nginx 有效地变成一个强大的通用 Web 应用平台.这样,Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx 支持的各种 C 以及 Lua 模块,快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统 流程图 本文介绍使用openresty来实现防cc攻击的功能.ope…

nginx利用limit模块设置IP并发防CC攻击 分类: 系统2013-01-21 09:02 759人阅读 评论(0) 收藏 举报 来源:http://blog.xencdn.net/nginx-limit-conn-how-to/ http://bbs.linuxtone.org/forum.php?mod=viewthread&tid=21954&extra=page%3D1%26filter%3Dtypeid%26typeid%3D1%26typeid%3D1 nginx利用li…

防攻击的思路我们都明白,比如限制IP啊,过滤攻击字符串啊,识别攻击指纹啦.可是要如何去实现它呢?用守护脚本吗?用PHP在外面包一层过滤?还是直接加防火墙吗?这些都是防御手段.不过本文将要介绍的是直接通过nginx的普通模块和配置文件的组合来达到一定的防御效果. 验证浏览器行为 简易版 下面就是nginx的配置文件写法. if ($cookie_say != "hbnl"){ add_header Set-Cookie "say=hbnl"; rewrite .* &…

一.Nginx安装(基于CentOS 6.5) 1.yum命令安装 yum install nginx –y(若不能安装,执行命令yum install epel-release) 2. 启动.停止和重启 service nginx startservice nginx stopservice nginx restart浏览器中 输入服务器的 ip 地址,即可看到相应信息 3. 其他信息 rpm -ql nginx 来查看安装路径yum remove nginx 来卸载 nginx -s rel…

互联网服务赖以生存的根本是流量, 产品和运营会经常通过各种方式来为应用倒流,比如淘宝的双十一等,如何让系统在处理高并发的同时还是保证自身系统的稳定, 通常在最短时间内提高并发的做法就是加机器, 但是如果机器不够怎么办? 那就需要做业务降级或系统限流. 流量控制中用的比较多的三个算法就是令牌桶.漏桶.计数器. 一.令牌桶限流(TokenBucket)令牌桶算法的基本过程如下: 每秒会有 r 个令牌放入桶中,或者说,每过 1/r 秒桶中增加一个令牌. 桶中最多存放 b 个令牌,如果桶满了,新放入的令…

CC攻击利用代理服务器向网站发送大量需要较长计算时间的URL请求,如数据库查询等,导致服务器进行大量计算而很快达到自身的处理能力而形成DOS.而攻击者一旦发送请求给代理后就主动断开连接,因??代理并不因??客户端这边连接的断开就不去连接目标服务器. 0x00 CC攻击的基本原理 CC攻击利用代理服务器向网站发送大量需要较长计算时间的URL请求,如数据库查询等,导致服务器进行大量计算而很快达到自身的处理能力而形成DOS.而攻击者一旦发送请求给代理后就主动断开连接,因??代理并不因??客户端这边连接…

一.nginx限流模块 接入层指的是请求流量的入口,我们可以在这里做很多控制,比如:负载均衡,缓存,限流等. nginx中针对限流有两个模块可以处理: 1)ngx_http_limit_req_module:连接数限流模块 2)ngx_http_limit_conn_module:请求限流模块 连接数限流模块是基于计数器方式实现的,请求限流模块是基于漏桶算法实现的: 关于限流算法可以参考:https://www.cnblogs.com/lay2017/p/9060497.html 除了以上两种,…

ddos攻击:分布式拒绝服务攻击,就是利用大量肉鸡或伪造IP,发起大量的服务器请求,最后导致服务器瘫痪的攻击. cc攻击:类似于ddos攻击,不过它的特点是主要是发起大量页面请求,所以流量不大,但是却能导致页面访问不了. 使用Nginx的配置对cc攻击进行简单防御===================================================================主要是通过nginx和lua来配合,达到防御的目的. 一.Nginx编译支持lua----------…