Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布
一、Nginx安装(基于CentOS 6.5)
1.yum命令安装
yum install nginx –y
(若不能安装,执行命令yum install epel-release)
2. 启动、停止和重启
service nginx start
service nginx stop
service nginx restart
浏览器中 输入服务器的 ip 地址,即可看到相应信息
3. 其他信息
rpm -ql nginx 来查看安装路径
yum remove nginx 来卸载
nginx -s reload 配置热更新
二、Nginx负载均衡配置(/etc/nginx/nginx.conf)
- 负载均衡配置
http {
……
upstream real_server {
server 192.168.103.100:2001 weight=1; #轮询服务器和访问权重
server 192.168.103.100:2002 weight=2;
}
server {
listen 80;
location / {
proxy_pass http://real_server;
}
}
}
2.失败重试配置
|
1
2
3
4
|
upstream real_server { server 192.168.103.100:2001 weight=1 max_fails=2 fail_timeout=60s; server 192.168.103.100:2002 weight=2 max_fails=2 fail_timeout=60s;} |
意思是在fail_timeout时间内失败了max_fails次请求后,则认为该上游服务器不可用,然后将该服务地址踢除掉。fail_timeout时间后会再次将该服务器加入存活列表,进行重试。
三、Nginx限流配置
- 配置参数
limit_req_zone指令设置参数
|
1
|
limit_req_zone $binary_remote_addr zone=mylimit:10m rate=10r/s; |
1)limit_req_zone定义在http块中,$binary_remote_addr表示保存客户端IP地址的二进制形式。
2)Zone定义IP状态及URL访问频率的共享内存区域。zone=keyword标识区域的名字,以及冒号后面跟区域大小。16000个IP地址的状态信息约1MB,所以示例中区域可以存储160000个IP地址。
3)Rate定义最大请求速率。示例中速率不能超过每秒10个请求。
2.设置限流
|
1
2
3
4
|
location / { limit_req zone=mylimit burst=20 nodelay; proxy_pass http://real_server;} |
burst排队大小,nodelay不限制单个请求间的时间
3.不限流白名单
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
geo $limit {default 1;192.168.2.0/24 0;}map $limit $limit_key {1 $binary_remote_addr;0 "";}limit_req_zone $limit_key zone=mylimit:10m rate=1r/s;location / { limit_req zone=mylimit burst=1 nodelay; proxy_pass http://real_server;} |
上述配置中,192.168.2.0/24网段的IP访问是不限流的,其他限流。
IP后面的数字含义:
24表示子网掩码:255.255.255.0
16表示子网掩码:255.255.0.0
8表示子网掩码:255.0.0.0
四、Nginx缓存配置
- 浏览器缓存
静态资源缓存用expire
|
1
2
3
|
location ~* .(jpg|jpeg|png|gif|ico|css|js)$ { expires 2d;} |
Response Header中添加了Expires和Cache-Control
静态资源包括(一般缓存)
1)普通不变的图像,如logo,图标等
2)js、css静态文件
3)可下载的内容,媒体文件
协商缓存(add_header ETag/Last-Modified value)
1)HTML文件
2)经常替换的图片
3)经常修改的js、css文件
4)基本不变的API接口
不需要缓存
1)用户隐私等敏感数据
2)经常改变的api数据接口
2.代理层缓存
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
//缓存路径,inactive表示缓存的时间,到期之后将会把缓存清理proxy_cache_path /data/cache/nginx/ levels=1:2 keys_zone=cache:512m inactive = 1d max_size=8g;location / { location ~ \.(htm|html)?$ { proxy_cache cache; proxy_cache_key $uri$is_args$args; //以此变量值做HASH,作为KEY //HTTP响应首部可以看到X-Cache字段,内容可以有HIT,MISS,EXPIRES等等 add_header X-Cache $upstream_cache_status; proxy_cache_valid 200 10m; proxy_cache_valid any 1m; proxy_pass http://real_server; proxy_redirect off; } location ~ .*\.(gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ { root /data/webapps/edc; expires 3d; add_header Static Nginx-Proxy; }} |
在本地磁盘创建一个文件目录,根据设置,将请求的资源以K-V形式缓存在此目录当中,KEY需要自己定义(这里用的是url的hash值),同时可以根据需要指定某内容的缓存时长,比如状态码为200缓存10分钟,状态码为301,302的缓存5分钟,其他所有内容缓存1分钟等等。
可以通过purger的功能清理缓存。
AB测试/个性化需求时应禁用掉浏览器缓存。
五、Nginx黑名单
1.一般配置
|
1
2
3
4
5
6
7
|
location / { deny 192.168.1.1; deny 192.168.1.0/24; allow 10.1.1.0/16; allow 2001:0db8::/32; deny all;} |
2. Lua+Redis动态黑名单(OpenResty)
1)安装运行
|
1
2
3
4
5
6
7
8
|
yum install yum-utilsyum-config-manager --add-repo https://openresty.org/package/centos/openresty.repoyum install openrestyyum install openresty-resty查看yum --disablerepo="*" --enablerepo="openresty" list available运行service openresty start |
2) 配置(/usr/local/openresty/nginx/conf/nginx.conf)
|
1
2
3
4
5
6
7
8
9
10
|
lua_shared_dict ip_blacklist 1m;server { listen 80; location / { access_by_lua_file lua/ip_blacklist.lua; proxy_pass http://real_server; }} |
lua脚本(ip_blacklist.lua)
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
|
local redis_host = "192.168.1.132"local redis_port = 6379local redis_pwd = 123456local redis_db = 2-- connection timeout for redis in ms.local redis_connection_timeout = 100-- a set key for blacklist entrieslocal redis_key = "ip_blacklist"-- cache lookups for this many secondslocal cache_ttl = 60-- end configurationlocal ip = ngx.var.remote_addrlocal ip_blacklist = ngx.shared.ip_blacklistlocal last_update_time = ip_blacklist:get("last_update_time");-- update ip_blacklist from Redis every cache_ttl seconds:if last_update_time == nil or last_update_time < ( ngx.now() - cache_ttl ) then local redis = require "resty.redis"; local red = redis:new(); red:set_timeout(redis_connect_timeout); local ok, err = red:connect(redis_host, redis_port); if not ok then ngx.log(ngx.ERR, "Redis connection error while connect: " .. err); else local ok, err = red:auth(redis_pwd) if not ok then ngx.log(ngx.ERR, "Redis password error while auth: " .. err); else local new_ip_blacklist, err = red:smembers(redis_key); if err then ngx.log(ngx.ERR, "Redis read error while retrieving ip_blacklist: " .. err); else ngx.log(ngx.ERR, "Get data success:" .. new_ip_blacklist) -- replace the locally stored ip_blacklist with the updated values: ip_blacklist:flush_all(); for index, banned_ip in ipairs(new_ip_blacklist) do ip_blacklist:set(banned_ip, true); end -- update time ip_blacklist:set("last_update_time", ngx.now()); end end endendif ip_blacklist:get(ip) then ngx.log(ngx.ERR, "Banned IP detected and refused access: " .. ip); return ngx.exit(ngx.HTTP_FORBIDDEN);end |
六、Nginx灰度发布
- 根据Cookie实现灰度发布
根据Cookie查询version值,如果该version值为v1转发到host1,为v2转发到host2,都不匹配的情况下转发默认。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
upstream host1 { server 192.168.2.46:2001 weight=1; #轮询服务器和访问权重 server 192.168.2.46:2002 weight=2;}upstream host2 { server 192.168.1.155:1111 max_fails=1 fail_timeout=60;}upstream default { server 192.168.1.153:1111 max_fails=1 fail_timeout=60;}map $COOKIE_version $group { ~*v1$ host1; ~*v2$ host2; default default;}lua_shared_dict ip_blacklist 1m;server { listen 80; #set $group "default"; #if ($http_cookie ~* "version=v1"){ # set $group host1; #} #if ($http_cookie ~* "version=v2"){ # set $group host2; #} location / { access_by_lua_file lua/ip_blacklist.lua; proxy_pass http://$group; }} |
2. 根据来路IP实现灰度发布
|
1
2
3
4
5
6
7
8
9
|
server { …………… set $group default; if ($remote_addr ~ "192.168.119.1") { set $group host1; } if ($remote_addr ~ "192.168.119.2") { set $group host2; } |
3. 更细粒度灰度发布
可用lua脚本实现,参考开源项目:https://github.com/CNSRE/ABTestingGateway
Nginx配置之负载均衡、限流、缓存、黑名单和灰度发布的更多相关文章
- nginx配置优化+负载均衡+动静分离详解
nginx配置如下: #指定nginx进程运行用户以及用户组user www www;#nginx要开启的进程数为8worker_processes 8;#全局错误日志文件#debug输出日志最为详细 ...
- [转] nginx配置优化+负载均衡+动静分离(附带参数解析)
#指定nginx进程运行用户以及用户组user www www;#nginx要开启的进程数为8worker_processes 8;#全局错误日志文件#debug输出日志最为详细,而crit输出日志 ...
- nginx 配置https 负载均衡
1.Winodw安装openssl工具(生成SSL证书用的)免编译版本下载: http://slproweb.com/products/Win32OpenSSL.html 注意:如果openssl在使 ...
- nginx配置+uwsgi+负载均衡配置
nginx静态文件配置 location /static{ alias /var/www/myApp/static; } sudo mkdir -vp /var/www/myApp/static/ s ...
- nginx配置实现负载均衡
一.负载均衡的作用 1.转发功能 按照一定的算法[权重.轮询],将客户端请求转发到不同应用服务器上,减轻单个服务器压力,提高系统并发量. 2.故障移除 通过心跳检测的方式,判断应用服务器当前是否可以正 ...
- Nginx配置实例-负载均衡实例:平均访问多台服务器
场景 Nginx配置实例-反向代理实例:根据访问的路径跳转到不同端口的服务中: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/10 ...
- nginx 配置实例-负载均衡
1.实现效果 (1)浏览器地址栏输入地址 http://www.123.com/edu/a.html,负载均衡效果,平均 8080 和 8081 端口中 2.准备工作 (1)准备两台 tomcat 服 ...
- Nginx配置简单负载均衡
前提:因为本次需要两个软件在本机不同端口提供http服务,于是我准备一个tomcat在8080端口,另一个nodejs程序在3000端口,前者自不用提,后者可以到https://www.cnblogs ...
- Nginx配置及负载均衡
转载:http://www.cnblogs.com/jingmoxukong/p/5945200.html nginx简易教程 目录 Nginx 概述 安装与使用 nginx 配置实战 参 ...
随机推荐
- 电脑小白和ta的小白电脑——Tomcat服务器
配置web服务器tomcat,这里默认了已经配置JAVA开发环境↓ https://www.cnblogs.com/gifted35/p/9775112.html (一)下载tomcat 我安装的服务 ...
- JDK 1.8 -> 1.7
电脑刚开始装的是1.8 version, 然后又需要用到1.7. 所以就要把1.8 降为1.7, 网上有很多说把1.8删掉,这种做法我是不建议的,那么要用的时候呢?又得装回来多蛋疼.. JDK 1.8 ...
- Python 3 基本操作列举
1.字符串 2,列表 3.random库 计算机产生的随机数都是有一个种子开始的伪随机序列,相同的随机种子产生相同的伪随机数序列. >>> random.seed(10) >& ...
- 常见图片格式PNG,JPEG,BMP,GIF区别总结
在前端工作久了经常会遇到各种格式的图片文件,现文做一些区别总结,帮助理解但不深入. [PNG](Portable Network Graphics) PNG是一种无损压缩的位图图形格式,主要有PNG8 ...
- 虚拟机3种网络模式(桥接、nat、Host-only)
http://www.cnblogs.com/ggjucheng/archive/2012/08/19/2646007.html
- effective java——32用EnumSet代替位域
什么是位域?为什么用到它?先来看一个例子: public class Test { public static final byte STYLE_BOLD = 1<<0; // 1 pub ...
- web项目中web.xml简介
什么是 XML? XML 指可扩展标记语言(EXtensible Markup Language) XML 是一种标记语言,很类似 HTML XML 的设计宗旨是传输数据,而非显示数据 XML 标签没 ...
- hive lock命令的使用
1.hive锁表命令 hive> lock table t1 exclusive;锁表后不能对表进行操作 2.hive表解锁: hive> unlock table t1; 3.查看被锁的 ...
- css清除浮动方式总结
1.通过父元素overflow:hidden,缺点:超出部分隐藏,不推荐使用 <!DOCTYPE html> <html lang="en"> <he ...
- 2018-2019-1 20165318 20165326 实验五 通讯协议设计.md
目录 实验内容 问题及解决 参考资料 实验内容 任务一 在Ubuntu中完成作业 openSSL OpenSSL是一个SSL协议的开源实现,采用C语言作为开发语言,具备了跨平台的能力,支持Unix/L ...