Consul+upsync+Nginx 动态负载均衡
1,动态负载均衡
传统的负载均衡,如果修改了nginx.conf 的配置,必须需要重启nginx 服务,效率不高。动态负载均衡,就是可配置化,动态化的去配置负载均衡。
2,实现方案
1. Consul+Consul-template 每次发现配置更改需要raload nginx,重启Nginx。
2. Consul+OpenResty 实现无需raload动态负载均衡
3. Consul+upsync+Nginx 实现无需raload动态负载均衡
3,Consul 简介
Consul是一款开源的分布式服务注册与发现系统,通过HTTP API可以使得服务注册、发现实现起来非常简单,它支持如下特性。
服务注册:服务实现者可以通过HTTP API或DNS方式,将服务注册到Consul。
服务发现:服务消费者可以通过HTTP API或DNS方式,从Consul获取服务的IP和PORT。
故障检测:支持如TCP、HTTP等方式的健康检查机制,从而当服务有故障时自动摘除。
K/V存储:使用K/V存储实现动态配置中心,其使用HTTP长轮询实现变更触发和配置更改。
多数据中心:支持多数据中心,可以按照数据中心注册和发现服务,即支持只消费本地机房服务,使用多数据中心集群还可以避免单数据中心的单点故障。
Raft算法:Consul使用Raft算法实现集群数据一致性。
4,Consul+upsync+Nginx 实现原理
Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表,并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB,利用Consul的KV服务,每个Nginx Work进程独立的去拉取各个upstream的配置,并更新各自的路由。
ConsoleWeb--------k/v--------> ConsoleServer <-------upsync(间隔读取)-------- nginx
ConsoleServer 用来专门存储负载均衡的配置信息,nginx.conf
ConsoleWeb是一个可视化的界面展示ConsoleServer的界面
nginx 通过upsync (新浪开发的基于nginx 的一个相当于插件) 间隔读取ConsoleServer的配置信息,同时会在本地存放一份信息,如果宕机,也可以读取到当时配置的配置文件信息(留存)
5,安装consul
在/usr/local 目录下(自定义)
1.下载consul_0.7.5_linux_amd64.zip
wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip
2.解压consul_0.7.5_linux_amd64.zip
unzip consul_0.7.5_linux_amd64.zip
如果解压出现该错误
-bash: unzip: 未找到命令
解决办法
yum -y install unzip
3. 执行以下 ./consul 有命令列表说明安装成功
4.启动consul
我的linux Ip地址192.168.170.110
./consul agent -dev -ui -node=consul-dev -client=192.168.170.110
5.临时关闭防火墙systemctl stop firewalld
6.浏览器访问192.168.170.110:8500,web界面如下:
7,可以通过界面注册服务,Chrome 浏览器会有缓存,建议使用Firefox, consul 也提供了接口服务:
/v1/agent/checks : 返回本地agent注册的所有检查(包括配置文件和HTTP接口)
/v1/agent/services : 返回本地agent注册的所有 服务
/v1/agent/members : 返回agent在集群的gossip pool中看到的成员
/v1/agent/self : 返回本地agent的配置和成员信息
/v1/agent/join/<address> : 触发本地agent加入node
/v1/agent/force-leave/<node>>: 强制删除node
/v1/agent/check/register : 在本地agent增加一个检查项,使用PUT方法传输一个json格式的数据
/v1/agent/check/deregister/<checkID> : 注销一个本地agent的检查项
/v1/agent/check/pass/<checkID> : 设置一个本地检查项的状态为passing
/v1/agent/check/warn/<checkID> : 设置一个本地检查项的状态为warning
/v1/agent/check/fail/<checkID> : 设置一个本地检查项的状态为critical
/v1/agent/service/register : 在本地agent增加一个新的服务项,使用PUT方法传输一个json格式的数据
/v1/agent/service/deregister/<serviceID> : 注销一个本地agent的服务项 /v1/catalog/register : 注册一个新节点、服务或检查
/v1/catalog/deregister : 取消注册节点、服务或检查
/v1/catalog/datacenters : 列出已知数据中心
/v1/catalog/nodes : 列出给定DC中的节点
/v1/catalog/services : 列出给定DC中的服务
/v1/catalog/service/<service> : 列出给定服务中的节点
/v1/catalog/node/<node> : 列出节点提供的服务
例如:使用postman post 请求,调用如下的接口http://192.168.178.110:8500/v1/catalog/register 来注册服务,192.168.178.110 是consul 服务ip:
{"Datacenter": "dc1","Node":"tomcat", "Address":"192.168.43.27","Service": {"Id" :"192.168.43.27:8080", "Service": "aiyuesheng","tags": ["dev"], "Port": 8080}}
当返回true 的时候,这个服务就被注册到consul 服务里了
Datacenter指定数据中心,Address指定服务IP,Service.Id指定服务唯一标识,Service.Service指定服务分组,Service.tags指定服务标签(如测试环境、预发环境等),Service.Port指定服务端口。
6,搭建 nginx + consul + upsync
这套服务要求nginx 的版本最低1.9
step1:
安装Nginx ,实现反向代理、负载负载库
wget http://nginx.org/download/nginx-1.9.10.tar.gz
安装consul:动态负载均衡均配置实现注册
wget https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip
安装nginx-upsync-module,间隔的去读取最新的nginx的配置信息
wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip
step2:
unzip master.zip
unzip consul_0.7.1_linux_amd64.zip
如果解压出现该错误
-bash: unzip: 未找到命令
解决办法:
yum -y install unzip
step3:安装Nginx
解压: tar -zxvf nginx-1.9.10.tar.gz
配置Nginx:
groupadd nginx
useradd -g nginx -s /sbin/nologin nginx
mkdir -p /var/tmp/nginx/client/
mkdir -p /usr/local/nginx
编译Nginx
cd nginx-1.9.10 ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=../nginx-upsync-module-master
make && make install
编译的是报错
./configure: error: SSL modules require the OpenSSL library.
解决办法
yum -y install openssl openssl-devel step4:配置upsync
mkdir /usr/local/nginx/conf/servers/
upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。
step5:配置nginx
#动态去consul 获取注册的真实反向代理地址
upstream aiyunsheng{
server 127.0.0.1:11111;
#超时是6m 间隔是500m
#aiyuesheng 是我已经注册到consul里面的service,参照步骤8
upsync 192.168.170.110:8500/v1/kv/upstreams/aiyunsheng upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
} server {
listen 80;
server_name 192.168.43.27;#你所要拦截的服务的ip location / {
proxy_pass http://aiyunsheng;
index index.html index.htm;
}
}
upsync指令指定从consul哪个路径拉取上游服务器配置;
upsync_timeout配置从consul拉取上游服务器配置的超时时间;
upsync_interval配置从consul拉取上游服务器配置的间隔时间;
upsync_type指定使用consul配置服务器;
strong_dependency配置nginx在启动时是否强制依赖配置服务器,如果配置为on,则拉取配置失败时nginx启动同样失败。
upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。
step6:启动console:
临时关闭防火墙systemctl stop firewalld
./consul agent -dev -ui -node=consul-dev -client=192.168.178.110
step7:启动nginx
/usr/local/nginx/sbin/nginx
ste8: 通过postman 向注册中心里面注册service 和 在service 里面添加upstrean
注册service:
例如:使用postman post 请求,调用如下的接口http://192.168.178.110:8500/v1/catalog/register 来注册服务,192.168.178.110 是consul 服务ip:
{"Datacenter": "dc1","Node":"tomcat", "Address":"192.168.43.27","Service": {"Id" :"192.168.43.27:8080", "Service": "aiyuesheng","tags": ["dev"], "Port": 8080}}
注册upstream:
使用postmen 发送put请求
http://192.168.178.110:8500/v1/kv/upstreams/aiyuesheng/192.168.43.27:8080
http://192.168.212.134:8500/v1/kv/upstreams/itmayiedu/192.168.43.27:8081
也可以用linux 命令:
1.使用linux命令方式发送put请求
curl -X PUT http://192.168.178.110:8500/v1/kv/upstreams/aiyuesheng/192.168.43.27:8080
curl -X PUT http://192.168.178.110:8500/v1/kv/upstreams/aiyuesheng/192.168.43.27:8081
step9:访问 http://192.168.178.110/ 直接访问consul 的服务地址
项目代码:
@RestController
public class Index {
@Value("${server.port}")
private String port; @RequestMapping("/")
public String index() {
return port;
}
}
能实现nginx 从consul 读取配置,转发到我的真实服务中.....
step10: 若是载添加upstream,只需要调用接口直接载consul 添加就OK,无需重启nginx 服务。。。。
动态负载均衡就配置完成。
Consul+upsync+Nginx 动态负载均衡的更多相关文章
- 通过Nginx、Consul、Upsync实现动态负载均衡和服务平滑发布
前提 前段时间顺利地把整个服务集群和中间件全部从UCloud迁移到阿里云,笔者担任了架构和半个运维的角色.这里详细记录一下通过Nginx.Consul.Upsync实现动态负载均衡和服务平滑发布的核心 ...
- Consul+upsync+Nginx实现动态负载均衡 摘自https://blog.csdn.net/qq_29247945/article/details/80787014
传统感念:每次修改完nginx配置文件,要重启nginx 动态感念:每次修改完nginx配置信息,不需要重启,nginx实时读取配置信息. Nginx: 反向代理和负载均衡 Consul:是用go编写 ...
- 基于Consul+Upsync+Nginx实现动态负载均衡
基于Consul+Upsync+Nginx实现动态负载均衡 1.Consul环境搭建 下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/l ...
- 动态负载均衡(Nginx+Consul+UpSync)环境搭建
首先 安装好 Consul upsync 然后: 1.配置安装Nginx 需要做配置,包括分组之类的,创建目录,有些插件是需要存放在这些目录的 groupadd nginx useradd -g ng ...
- 动态负载均衡(Nginx+Consul+UpSync)
Http动态负载均衡 什么是动态负载均衡 传统的负载均衡,如果Upstream参数发生变化,每次都需要重新加载nginx.conf文件, 因此扩展性不是很高,所以我们可以采用动态负载均衡,实现Upst ...
- 【Nginx】基于Consul+Upsync+Nginx实现动态负载均衡
一.Http动态负载均衡 什么是动态负载均衡 动态负载均衡实现方案 常用服务器注册与发现框架 二.Consul快速入门 Consul环境搭建 三.nginx-upsync-module nginx-u ...
- Nginx(四) nginx+consul+upasync 在ubnutu18带桌面系统 实现动态负载均衡
1.1 什么是动态负载均衡 传统的负载均衡,如果Upstream参数发生变化,每次都需要重新加载nginx.conf文件,因此扩展性不是很高,所以我们可以采用动态负载均衡,实现Upstream可配置化 ...
- Nginx 实现动态负载均衡(Nginx-1.10.1 + Consul v0.6.4)
一直也没有找到合适的类似Socat + Haproxy 的组合能用在Nginx,后来发现了Nginx的几个模块,但是也存在各种不足. 而且Nginx 在大流量的情况下nginx -s reload 是 ...
- 死磕nginx系列--使用upsync模块实现负载均衡
问题描述 nginx reload是有一定损耗的,如果你使用的是长连接的话,那么当reload nginx时长连接所有的worker进程会进行优雅退出,并当该worker进程上的所有连接都释放时,进程 ...
随机推荐
- Python学习笔记--gevent嵌套使用
这篇主要是接着上篇的,实验gevent嵌套使用,看情况如何.还是先上代码. #!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2020-0 ...
- 为XHR对象所有方法和属性提供钩子 全局拦截AJAX
摘要 ✨长文 阅读约需十分钟 ✨跟着走一遍需要一小时以上 ✨约100行代码 前段时间打算写一个给手机端用的假冒控制台 可以用来看console的输出 这一块功能目前已经完成了 但是后来知道有一个腾讯团 ...
- (数据科学学习手札79)基于geopandas的空间数据分析——深入浅出分层设色
本文对应代码和数据已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 通过前面的文章,我们已经对geopanda ...
- DUBBO 面试灵魂18问
一.Dubbo 是什么 dubbo 是一个分布式框架,是一个远程服务调用的分布式框架,其核心部分包含: 1)集群容错: 提供基于接口方法的透明远程过程调用,包含多协议支持,以及软负债均衡.失败容错.地 ...
- Yuchuan_Linux_C编程之一 Vim编辑器的使用
一.整体大纲 二.Vim 编辑器的使用 vi -- vim vim是从vi发展过来的一款文本编辑器 vi a.txt 前提: 安装了vim软件 工作模式: 1. 命令模式 -- 打开 ...
- 新建eclipse工作空间的常用设置
1.设置字体: Window->Preferences->(可以直接搜索font)General -> Appearance ->Colors and Fonts --> ...
- libra共识算法分析
核心算法说明 基于chained实现,整体上是当前轮推动下一轮共识继续下去, 如此来持续运转下去, 数据有效性证明基于(QC)实现 leader广播proposal消息{round, qc, p ...
- 【tomcat系列】配置tomcat远程访问
当程序部署在tomcat上后,需要监测tomcat的性能和监测tomcat的各项指标,如内存使用情况,cpu使用情况,jvm实际情况等,对于这些指标的监控,tomcat提供了访问入口,然而tomcat ...
- Go语言:如何解决读取不到相对路径配置文件问题
背景 项目交叉编译为可执行文件之后,在其他目录执行文件时提示找不到配置文件 2020/03/14 20:44:23 配置文件读取失败 open config.ini: no such file or ...
- 序列化器:ModelSerializer
ModelSerializer 类提供了一个快捷方式,可让你基于 Models 自动创建一个 Serializer 类,其中的字段与模型类字段对应. ModelSerializer 类与常规 Seri ...