动态管理upsteam---nginx_http_dyups_module

nginx_http_dyups_module

 nginx_http_dyups_module是第三方开源软件，它提供API动态修改upstream的配置，并且支持Nginx的ip_hash、keepalive等与upstream有关的配置。

安装nginx_http_dyups_module

git clone git://github.com/yzprofile/ngx_http_dyups_module.git

./configure --add-module=../ngx_http_dyups_module

 

动态管理upstream

upstream myapp_01 {
         server 10.102.20.20:80;
     }
upstream myapp_02 {
         server 10.102.20.211:80;
     }

   server {
     listen 8000;
     location / {
      allow 127.0.0.1;
      deny all;
      dyups_interface;
    }

   }

    server {
      listen       80;
      server_name  localhost;

      location / {
         proxy_set_header Host $host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         set $ups  myapp;
         proxy_pass http://$ups;
           }
      }

　　

                   

 

确认目前的upstream清单中是否有myapp

[root@lua conf]# curl http://127.0.0.1:8000/list
myapp_01
myapp_02

　　

上面的输出显示没myapp，下面添加upsteam，并命名为myapp（它是以覆盖当前upstream的内容完成配置的）：

[root@lua conf]# curl -d "server 10.102.20.20:80 max_fails=3 fail_timeout=5s weight=10 ;server 10.102.20.211 max_fails=3 fail_timeout=5s weight=10;" 127.0.0.1:8000/upstream/myapp
success

　　

 

获取upsteam清单的详情：

[root@lua conf]# curl 127.0.0.1:8000/detail
myapp_01
server 10.102.20.20:80 weight=1 max_conns=0 max_fails=1 fail_timeout=10 backup=0 down=0

myapp_02
server 10.102.20.211:80 weight=1 max_conns=0 max_fails=1 fail_timeout=10 backup=0 down=0

myapp
server 10.102.20.20:80 weight=10 max_conns=0 max_fails=3 fail_timeout=5 backup=0 down=0
server 10.102.20.211:80 weight=10 max_conns=0 max_fails=3 fail_timeout=5 backup=0 down=0

　　

访问upsteam下的服务，结果显示正常

[root@lua conf]# curl -I 10.102.20.103
HTTP/1.1 200 OK
Server: nginx/1.14.2
Date: Fri, 13 Dec 2019 01:55:39 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 616
Connection: keep-alive
Last-Modified: Fri, 14 Dec 2018 09:10:04 GMT
ETag: "5c13736c-268"
Accept-Ranges: bytes

　　

 

验证删除节点功能：

curl -i -X DELETE 127.0.0.1:8000/upstream/myapp
HTTP/1.1 200 OK
Server: nginx/1.14.2
Date: Fri, 13 Dec 2019 01:57:43 GMT
Content-Length: 7
Connection: keep-alive

success

　　

 

可以看到已删除myapp

[root@lua conf]# curl http://127.0.0.1:8000/list
myapp_01
myapp_02

　　

 

进行压力测试，与原生的Nginx upstream配置相比，没有明显的性能波动，稳定性正常，upstream的动态添加和删除操作会随机执行。

 

dyups支持的接口说明表：

请求方法	HTTP接口	用途
GET	/detail	获取所有upsteam的清单明细
GET	/list	获取所有upsteam的name
GET	/upstream/name	获取指定的upstream内的后端服务器的IP地址和端口
POST	/upstream/name	覆盖指定的upstream的内容，包括IP地址、端口号、权重等信息
DELETE	/upstream/name	删除指定的upstream

功能验证完成后，准备灰度发布。

此模块还提供了Ngx_Lua接口，方便Ngx_Lua处理动态的upstream，可参考官方的Wiki。https://github.com/yzprofile/ngx_http_dyups_module/blob/master/README.md

 

确保upstream数据的完整性

使用 nginx_http_dyups_module时有一个隐患，即动态修改的配置存放在Nginx内存中的，如果重载Nginx配置，这些数据就会丢失。

对此可行的解决方案是开发一个脚本，用来调用nginx_http_dyups_module的接口/detail，获取upstream的全部信息，并存为Nginx可以读取的upstream配置文件；

在upstream发生变更时就会触发该脚本生成一个upstream文件，将这个文件include到Nginx配置中；

当Nginx重载配置时，它会先从这个upstream文件加载最新的数据。