HTTP服务负载均衡总结
从一开始就要思考扩展的架构,所谓可扩展性指的是通过扩展规模提高承载能力的本领,往往体现在增加物理服务器或者集群节点。负载均衡是常见的水平扩展的手段。
目标:(1)减少单点故障(2)提升整体吞吐量(3)根据负载分配任务量
HTTP重定向
通过HTTP Location重定向,通过一定的策略(如地域就近)将主站URL转移到分站/镜像URL,分散主站工作量。实现负载均衡的同时,加快用户下载速度,适用于网络IO成为瓶颈时(如下载服务)。
HTTP重定向通常采用随机策略。如果使用轮询(RR),需要记录最后一次重定向的服务器序号,给通常无状态的HTTP带来额外开销;由于需要锁机制保证任何时刻只有一个请求能修改它,对并发性也有一定影响。
根据概率统计理论,随着吞吐率的增加,随机调度也会逐渐趋近于顺序调度的均衡效果。
多数情况,重定向负载均衡不好控制,无法阻止用户直接访问真实服务器。只有类似文件下载、广告展示等一次性的请求适合重定向。
DNS
DNS提供域名解析服务,即域名到ip的映射,这种映射可以是一对多的,这时DNS便起了负载均衡的作用。DNS服务器软件提供了丰富的调度策略,最常用的是根据用户IP进行智能解析,从所有可用的A记录中找到离用户最近的一台服务器。利用动态DNS,可以实现故障转移,但因为DNS的层级缓存,会存在一定延迟。
除了因为缓存带来的更新延迟,由于负载均衡工作在DNS层面,调度灵活性较差,无法将HTTP请求的上下文引入调度策略。
反向代理
反向代理服务器的核心工作是转发HTTP请求,所以又叫七层负载均衡。相比HTTP重定向和DNS,反向代理是转发请求,而前者是转移。所有请求都经过反向代理,等待实际服务器(也叫后端服务器)的响应,再反馈给用户。这样可以将调度策略落实到每一个HTTP请求,从而实现更加可控的负载均衡策略。
反向代理的扩展能力,一方面是自身并发处理的能力,当反向代理服务器吞吐率接近极限时,无论添加多少后端服务器也无济于事。另一方面,转发操作本身需要一定开销,如创建线程、与后端服务器建立TCP连接、接收后端返回的处理结果、分析HTTP头信息、用户空间和内核空间的频繁切换等,通常这部分时间不长,但当后端服务器处理请求时间非常短时(如静态资源),转发的开销就显现出来。
反向代理一般都有监控后端服务器的功能,可以简单配置健康探测,调度器会自动放弃异常的后端服务器。实际应用可以部署一定数量的备用服务器,当一些后端服务器异常时接替它们的工作,保证整体性能。
如果后端服务器是有状态的,如在session中保存了用户数据,需要使用粘滞会话(Sticky Sessions)。一种方法是使用用户的IP地址作为标识,将IP地址做散列计算映射到后端服务器上。还可以利用Cookie,反向代理将后端服务器的编号追加写到用户的Cookie中,这样便知道下次请求该发给哪个后端服务器。粘滞会话可能会破坏负载均衡策略,使得后端服务器个性化,尽量避免在后端服务器存储状态,采用分布式Session或分布式缓存来替代。
IP
反向代理本身的开销制约了其扩展性,考虑将调度器工作在应用层以下,网络数据包从内核缓冲区进入用户地址空间之前,Linux内核就将其转发到实际服务器上。
NAT工作在传输层,可以修改数据包的IP地址和端口,所以也叫四层负载均衡。NAT服务器负责连接外部网络和内部网络,实际服务器必须将NAT服务器作为默认网关。当数据包到达NAT服务器,NAT服务器将目标地址从NAT的地址修改为实际服务器地址的IP和端口,然后指定内部网卡将数据包投递到内部网络;实际服务器收到数据包进行处理,数据包到达默认网关,即NAT服务器,NAT服务器再修改数据包,将源地址从实际服务器地址改为NAT服务器。Linux使用NetFilter/iptables维护数据包路由规则。使用IPVS(LVS)配置基于NAT的负载均衡。由于在内核转发的低开销,吞吐率比反向代理高,转发能力主要取决于NAT服务器的网络带宽。
对于下载或视频等站点,NAT服务器的带宽会成为瓶颈。LVS提供了直接路由(Direct Router)的方式,它的负载均衡工作在数据链路层,通过修改数据包的MAC地址,将数据包转发到实际服务器,而且响应数据包直接发给用户端,不用经过调度器,所以实际服务器必须直接接入外部网络,也不能将调度器设为默认网关。直接路由使用IP别名,需要给实际服务器添加和调度器IP地址相同的IP别名,这样可以正常将请求数据包转发到实际服务器。通常响应数据包比请求数据包大的多,所以LVS-DR的优势就是响应数据包不用经过调度器,避免了调度器的带宽瓶颈。
HTTP服务负载均衡总结的更多相关文章
- 基于Docker + Consul + Nginx + Consul-Template的服务负载均衡实现(转)
转:https://www.jianshu.com/p/fa41434d444a 前言 上一篇文章使用 Consul 和 Registrator 在 docker 的容器环境中搭建了服务注册和发现集群 ...
- Windows服务器nginx+tomcat服务负载均衡
一.安装两个tomcat服务自启动 1. 解压两个tomcat,名称为分别1,2 2. 配置环境变量 3. 修改文件server.xml中的三个端口号,使得两个tomcat不冲突 (1)<Ser ...
- 【微服务】之四:轻松搞定SpringCloud微服务-负载均衡Ribbon
对于任何一个高可用高负载的系统来说,负载均衡是一个必不可少的名称.在大型分布式计算体系中,某个服务在单例的情况下,很难应对各种突发情况.因此,负载均衡是为了让系统在性能出现瓶颈或者其中一些出现状态下可 ...
- springcloud第四步:ribbon搭建服务负载均衡
使用ribbon实现负载均衡 启动两个会员服务工程,端口号分别为8762.8763,订单服务 使用负载均衡策略轮训到会员服务接口. 什么是ribbon ribbon是一个负载均衡客户端 类似nginx ...
- SpringCloud微服务负载均衡与网关
1.使用ribbon实现负载均衡ribbon是一个负载均衡客户端 类似nginx反向代理,可以很好的控制htt和tcp的一些行为.Feign默认集成了ribbon. 启动两个会员服务工程,端口号分别为 ...
- 微服务负载均衡 —— ribbon
负载均衡是系统高可用.缓解网络流量和处理能力扩容的重要手段,广义的负载均衡指的是服务端负载均衡,如硬件负载均衡(F5)和软件负载均衡(Nginx).负载均衡设备会维护一份可用的服务器的信息,当客户端请 ...
- SpringCloud 服务负载均衡和调用 Ribbon、OpenFeign
1.Ribbon Spring Cloud Ribbon是基于Netflix Ribbon实现的-套客户端―负载均衡的工具. 简单的说,Ribbon是Netlix发布的开源项目,主要功能是提供客户端的 ...
- WCF Routing服务,负载均衡
WCF4.0支持路由机制,通过RoutingService实现请求分发.拦截处理. 一.应用场景 1.暴露一个endpoint在外网,其余服务部署于内网: 2.请求分发,能对服务做负载功能: 二.WC ...
- 小迪安全 Web安全 基础入门 - 第八天 - 信息打点-系统篇&端口扫描&CDN服务&负载均衡&WAF防火墙
一.获取网络信息-服务厂商&网络架构 1.通过whois查询获取. 2.nmap.goby等扫描工具扫描获取. 3.https://www.netcraft.com/等网站查询获取. 二.服务 ...
随机推荐
- mkbundle(1) - Linux man page
mkbundle(1) - Linux man page Name mkbundle, mkbundle2 - Creates a bundled executable. Synopsis mkbun ...
- 转: linux下错误的捕获:errno和strerror的使用
经常在调用linux 系统api 的时候会出现一些错误,比方说使用open() write() creat()之类的函数有些时候会返回-1,也就是调用失败,这个时候往往需要知道失败的原因.这个时候使用 ...
- 2015第29周六Spring
搜了一下Spring相关的经典书籍: <Spring实战(第3版)>从核心的Spring.Spring应用程序的核心组件.Spring集成3个方面,由浅入深.由易到难地对Spring展开了 ...
- 数据采集工具flume
概述 flume是在2011年被首次引入到Cloudera的CDH3分发中,2011年6月,Cloudera将flume项目捐献给Apache基金会.2012年,flume项目从孵化器变成了顶级项目, ...
- hdu 4746 Mophues
莫比乌斯反演.先初始化出所有数有多少个质因子和mobius.然后处理mob_sum[ i ][ j ],表示当公因子的因子个数小于等于 j 个的mobius前 i 项和.然后分块求和即可. 分块处理部 ...
- Tomcat 改变localhost主页,映射到应用地址
<Host appBase="webapps" autoDeploy="true" name="localhost" unpackWA ...
- Jquery css函数用法(判断标签是否拥有某属性)
判断一个层是否隐藏:$("#id").css("display")=="none" ;在所有匹配的元素中,设置一个样式属性的值:$(&qu ...
- iOS BMOB-登录注册手机验证码、邮箱验证
1.下载BmobSDK 2.把里面的BmobSDK.framework拖到你的工程里面的工具文件夹内. 3.导入类库 CoreLocation.framework.Security.framework ...
- BeanFactory调用getbean()对象
Spring通过资源加载器加载相应的XML文件,使用读取器读取资源加载器中的文件到读取器中,在读取过程中,解析相应的xml文件元素,转化为spring定义的数据结BeanDefinition,把相应的 ...
- 【小程序开发】微信小程序开发中遇到的那些坑...
第一坑: 设置了三个tabBar,却默认显示第二个,不能展示我的第一个[首页]. "list": [{ "pagePath":"page/KTGJ/i ...