从一开始就要思考扩展的架构,所谓可扩展性指的是通过扩展规模提高承载能力的本领,往往体现在增加物理服务器或者集群节点。负载均衡是常见的水平扩展的手段。

目标:(1)减少单点故障(2)提升整体吞吐量(3)根据负载分配任务量

HTTP重定向

通过HTTP Location重定向,通过一定的策略(如地域就近)将主站URL转移到分站/镜像URL,分散主站工作量。实现负载均衡的同时,加快用户下载速度,适用于网络IO成为瓶颈时(如下载服务)。

HTTP重定向通常采用随机策略。如果使用轮询(RR),需要记录最后一次重定向的服务器序号,给通常无状态的HTTP带来额外开销;由于需要锁机制保证任何时刻只有一个请求能修改它,对并发性也有一定影响。

根据概率统计理论,随着吞吐率的增加,随机调度也会逐渐趋近于顺序调度的均衡效果。

多数情况,重定向负载均衡不好控制,无法阻止用户直接访问真实服务器。只有类似文件下载、广告展示等一次性的请求适合重定向。

DNS

DNS提供域名解析服务,即域名到ip的映射,这种映射可以是一对多的,这时DNS便起了负载均衡的作用。DNS服务器软件提供了丰富的调度策略,最常用的是根据用户IP进行智能解析,从所有可用的A记录中找到离用户最近的一台服务器。利用动态DNS,可以实现故障转移,但因为DNS的层级缓存,会存在一定延迟。

除了因为缓存带来的更新延迟,由于负载均衡工作在DNS层面,调度灵活性较差,无法将HTTP请求的上下文引入调度策略。

反向代理

反向代理服务器的核心工作是转发HTTP请求,所以又叫七层负载均衡。相比HTTP重定向和DNS,反向代理是转发请求,而前者是转移。所有请求都经过反向代理,等待实际服务器(也叫后端服务器)的响应,再反馈给用户。这样可以将调度策略落实到每一个HTTP请求,从而实现更加可控的负载均衡策略。

反向代理的扩展能力,一方面是自身并发处理的能力,当反向代理服务器吞吐率接近极限时,无论添加多少后端服务器也无济于事。另一方面,转发操作本身需要一定开销,如创建线程、与后端服务器建立TCP连接、接收后端返回的处理结果、分析HTTP头信息、用户空间和内核空间的频繁切换等,通常这部分时间不长,但当后端服务器处理请求时间非常短时(如静态资源),转发的开销就显现出来。

反向代理一般都有监控后端服务器的功能,可以简单配置健康探测,调度器会自动放弃异常的后端服务器。实际应用可以部署一定数量的备用服务器,当一些后端服务器异常时接替它们的工作,保证整体性能。

如果后端服务器是有状态的,如在session中保存了用户数据,需要使用粘滞会话(Sticky Sessions)。一种方法是使用用户的IP地址作为标识,将IP地址做散列计算映射到后端服务器上。还可以利用Cookie,反向代理将后端服务器的编号追加写到用户的Cookie中,这样便知道下次请求该发给哪个后端服务器。粘滞会话可能会破坏负载均衡策略,使得后端服务器个性化,尽量避免在后端服务器存储状态,采用分布式Session或分布式缓存来替代。

IP

反向代理本身的开销制约了其扩展性,考虑将调度器工作在应用层以下,网络数据包从内核缓冲区进入用户地址空间之前,Linux内核就将其转发到实际服务器上。

NAT工作在传输层,可以修改数据包的IP地址和端口,所以也叫四层负载均衡。NAT服务器负责连接外部网络和内部网络,实际服务器必须将NAT服务器作为默认网关。当数据包到达NAT服务器,NAT服务器将目标地址从NAT的地址修改为实际服务器地址的IP和端口,然后指定内部网卡将数据包投递到内部网络;实际服务器收到数据包进行处理,数据包到达默认网关,即NAT服务器,NAT服务器再修改数据包,将源地址从实际服务器地址改为NAT服务器。Linux使用NetFilter/iptables维护数据包路由规则。使用IPVS(LVS)配置基于NAT的负载均衡。由于在内核转发的低开销,吞吐率比反向代理高,转发能力主要取决于NAT服务器的网络带宽。

对于下载或视频等站点,NAT服务器的带宽会成为瓶颈。LVS提供了直接路由(Direct Router)的方式,它的负载均衡工作在数据链路层,通过修改数据包的MAC地址,将数据包转发到实际服务器,而且响应数据包直接发给用户端,不用经过调度器,所以实际服务器必须直接接入外部网络,也不能将调度器设为默认网关。直接路由使用IP别名,需要给实际服务器添加和调度器IP地址相同的IP别名,这样可以正常将请求数据包转发到实际服务器。通常响应数据包比请求数据包大的多,所以LVS-DR的优势就是响应数据包不用经过调度器,避免了调度器的带宽瓶颈。

HTTP服务负载均衡总结的更多相关文章

  1. 基于Docker + Consul + Nginx + Consul-Template的服务负载均衡实现(转)

    转:https://www.jianshu.com/p/fa41434d444a 前言 上一篇文章使用 Consul 和 Registrator 在 docker 的容器环境中搭建了服务注册和发现集群 ...

  2. Windows服务器nginx+tomcat服务负载均衡

    一.安装两个tomcat服务自启动 1. 解压两个tomcat,名称为分别1,2 2. 配置环境变量 3. 修改文件server.xml中的三个端口号,使得两个tomcat不冲突 (1)<Ser ...

  3. 【微服务】之四:轻松搞定SpringCloud微服务-负载均衡Ribbon

    对于任何一个高可用高负载的系统来说,负载均衡是一个必不可少的名称.在大型分布式计算体系中,某个服务在单例的情况下,很难应对各种突发情况.因此,负载均衡是为了让系统在性能出现瓶颈或者其中一些出现状态下可 ...

  4. springcloud第四步:ribbon搭建服务负载均衡

    使用ribbon实现负载均衡 启动两个会员服务工程,端口号分别为8762.8763,订单服务 使用负载均衡策略轮训到会员服务接口. 什么是ribbon ribbon是一个负载均衡客户端 类似nginx ...

  5. SpringCloud微服务负载均衡与网关

    1.使用ribbon实现负载均衡ribbon是一个负载均衡客户端 类似nginx反向代理,可以很好的控制htt和tcp的一些行为.Feign默认集成了ribbon. 启动两个会员服务工程,端口号分别为 ...

  6. 微服务负载均衡 —— ribbon

    负载均衡是系统高可用.缓解网络流量和处理能力扩容的重要手段,广义的负载均衡指的是服务端负载均衡,如硬件负载均衡(F5)和软件负载均衡(Nginx).负载均衡设备会维护一份可用的服务器的信息,当客户端请 ...

  7. SpringCloud 服务负载均衡和调用 Ribbon、OpenFeign

    1.Ribbon Spring Cloud Ribbon是基于Netflix Ribbon实现的-套客户端―负载均衡的工具. 简单的说,Ribbon是Netlix发布的开源项目,主要功能是提供客户端的 ...

  8. WCF Routing服务,负载均衡

    WCF4.0支持路由机制,通过RoutingService实现请求分发.拦截处理. 一.应用场景 1.暴露一个endpoint在外网,其余服务部署于内网: 2.请求分发,能对服务做负载功能: 二.WC ...

  9. 小迪安全 Web安全 基础入门 - 第八天 - 信息打点-系统篇&端口扫描&CDN服务&负载均衡&WAF防火墙

    一.获取网络信息-服务厂商&网络架构 1.通过whois查询获取. 2.nmap.goby等扫描工具扫描获取. 3.https://www.netcraft.com/等网站查询获取. 二.服务 ...

随机推荐

  1. dos命令弹出对话框---Msg命令详解

    标签: dos批处理对话框 2015-11-12 17:20 497人阅读 评论(0) 收藏 举报 脚本(30)  版权声明:本文为博主原创文章,未经博主允许不得转载. dos命令弹出对话框---Ms ...

  2. python调用shell, shell 引用python

    python 调用 shell get_line_num="wc -l as_uniq_info | awk '{print $1}'" ###get the lines of & ...

  3. HDOJ 1326 Box of Bricks(简单题)

    Problem Description Little Bob likes playing with his box of bricks. He puts the bricks one upon ano ...

  4. 如何在Windows下使用matplotlib

    在开始之前,向matplotlib的创造者,John D. Hunter表示崇高的敬意,和无尽的怀念. (John D. Hunter 1968-2012) matplotlib是一个给予Python ...

  5. 超酷创意HTML5动画演示及代码

    HTML5是未来的网页开发神器,今天分享的这些HTML5动画大部分利用了CSS3的动画属性来实现,废话不多说,直接上演示和代码. HTML5/CSS3实现大风车旋转动画 这次我们要来分享一款很酷的HT ...

  6. java 自制类加载器的简单实现

    package com.xiaomo.reflex; import java.io.File; import java.io.FileInputStream; import java.io.IOExc ...

  7. phpstorm + xdebug 配置

    PHPSTORM版本 : 8.0.1 PHP版本 : 5.6.2 把php-xdebug.dll复制到xamapp/php/ext目录下,打开php.ini配置如下参数 [xdebug] zend_e ...

  8. SQL Profile 总结(一)

    一.前提概述 在介绍SQL Profile之前,不得不说的一个工具就是SQL Tuning Advisor:这个工具是从Oracle 10g開始引入,它的任务就是分析一个指定的SQL语句,并建议怎样使 ...

  9. SUSE 在Intel举行&quot;Rule The Stack&quot;的竞赛中获得 &quot;Openstack安装最高速&quot;奖

    有关"Rule The Stack": https://communities.intel.com/community/itpeernetwork/datastack/blog/2 ...

  10. C++沉思录之三——设计容器类

    一.对容器的基本认识 总的来说,容器应该包含放在其中的对象的副本,而不是对象本身. 二.复制容器意味着什么? 通常将容器成为模板,而容器内的对象的类型就是模板参数.Container<T> ...