域名到站点的负载均衡技术一览(主要是探讨一台Nginx抵御大并发的解决方案)(转)https://www.cnblogs.com/EasonJim/p/7823410.html
一、问题域
Nginx、LVS、Keepalived、F5、DNS轮询,往往讨论的是接入层的这样几个问题:
1)可用性:任何一台机器挂了,服务受不受影响
2)扩展性:能否通过增加机器,扩充系统的性能
3)反向代理+负载均衡:请求是否均匀分摊到后端的操作单元执行
二、上面那些名词都是什么概念
1)Nginx:一个高性能的Web-Server和实施反向代理的软件
2)LVS:Linux Virtual Server,使用集群技术,实现在Linux操作系统层面的一个高性能、高可用、负载均衡服务器
3)Keepalived:一款用来检测服务状态存活性的软件,常用来做高可用
4)F5:一个高性能、高可用、负载均衡的硬件设备
5)DNS轮询:通过在DNS-Server上对一个域名设置多个IP解析,来扩充Web-Server性能及实施负载均衡的技术
三、接入层技术演进
【裸奔时代单机架构】

裸奔时代的架构图如上:
1)浏览器通过DNS-Server,域名解析到IP
2)浏览器通过IP访问Web-Server
缺点:
1)非高可用,Web-Server挂了整个系统就挂了
2)扩展性差,当吞吐量达到Web-Server上限时,无法扩容
注:单机不涉及负载均衡的问题
【DNS轮询】
假设Tomcat的吞吐量是1000次每秒,当系统总吞吐量达到3000时,如何扩容是首先要解决的问题,DNS轮询是一个很容易想到的方案:

此时的架构图如上:
1)多部署几份Web-Server,1个Tomcat抗1000,部署3个Tomcat就能抗3000
2)在DNS-Server层面,域名每次解析到不同的IP
优点:
1)零成本:在DNS-Server上多配几个IP即可,功能也不收费
2)部署简单:多部署几个Web-Server即可,原系统架构不需要做任何改造
3)负载均衡:变成了多机,但负载基本是均衡的
缺点:
1)非高可用:DNS-Server只负责域名解析IP,这个IP对应的服务是否可用,DNS-Server是不保证的,假设有一个Web-Server挂了,部分服务会受到影响
2)扩容非实时:DNS解析有一个生效周期
3)暴露了太多的外网IP
【Nginx】
Tomcat的性能较差,但Nginx作为反向代理的性能就强多了,假设线上跑到1w,就比Tomcat高了10倍,可以利用这个特性来做扩容:

此时的架构图如上:
1)站点层与浏览器层之间加入了一个反向代理层,利用高性能的Nginx来做反向代理
2)Nginx将Http请求分发给后端多个Web-Server
优点:
1)DNS-Server不需要动
2)负载均衡:通过Nginx来保证
3)只暴露一个外网IP,Nginx->Tomcat之间使用内网访问
4)扩容实时:Nginx内部可控,随时增加Web-Server随时实时扩容
5)能够保证站点层的可用性:任何一台Tomcat挂了,Nginx可以将流量迁移到其他Tomcat
缺点:
1)时延增加+架构更复杂了:中间多加了一个反向代理层
2)反向代理层成了单点,非高可用
【高可用方案Keepalived】
为了解决高可用的问题,Keepalived出场了:

此时:
1)做两台Nginx组成一个集群,分别部署上Keepalived,设置成相同的虚IP,保证Nginx的高可用
2)当一台Nginx挂了,Keepalived能够探测到,并将流量自动迁移到另一台Nginx上,整个过程对调用方透明。
优点:
1)解决了高可用的问题
缺点:
1)资源利用率只有50%
2)Nginx仍然是接入单点,如果接入吞吐量超过的Nginx的性能上限怎么办,例如qps达到了50000呢?
【垂直扩容方案 LVS/F5】
Nginx毕竟是软件,性能比Tomcat好,但总有个上限,超出了上限,还是扛不住。
LVS就不一样了,它实施在操作系统层面;F5的性能又更好了,它实施在硬件层面;它们性能比Nginx好很多,例如每秒可以抗10w,这样可以利用他们来扩容,常见的架构图如下:

此时:
1)如果通过Nginx可以扩展多个Tomcat一样,可以通过LVS来扩展多个Nginx
2)通过Keepalived+VIP的方案可以保证可用性
多数的公司到这一步基本就能解决接入层高可用、扩展性、负载均衡的问题。
好吧,不管是使用LVS还是F5,这些都是scale up(垂直扩展)的方案,根本上,LVS/F5还是会有性能上限,假设每秒能处理10w的请求,一天也只能处理80亿的请求(10w秒吞吐量*8w秒),那万一系统的日PV超过80亿怎么办呢?
【水平扩容方案DNS轮询】
水平扩展,才是解决性能问题的根本方案,能够通过加机器扩充性能的方案才具备最好的扩展性。
facebook,google,baidu的PV是不是超过80亿呢,它们的域名只对应一个IP么,还是得通过DNS轮询来进行扩容:

此时:
1)通过DNS轮询来线性扩展入口LVS层的性能
2)通过Keepalived来保证高可用
3)通过LVS来扩展多个Nginx
4)通过Nginx来做负载均衡,业务七层路由
四、总结
稍微做一个简要的总结:
1)接入层架构要考虑的问题域为:高可用、扩展性、反向代理+扩展均衡
2)Nginx、Keepalived、LVS、F5可以很好的解决高可用、扩展性、反向代理+扩展均衡的问题
3)水平扩展scale out是解决扩展性问题的根本方案,DNS轮询是不能完全被Nginx/LVS/F5所替代的
参考:
Https://www.cnblogs.com/wade-luffy/p/6406394.html(以上内容转自此篇文章)
正常情况下,我们只需要启动一个nginx反向代理就行了,后续都可以在不影响业务前提下进行升级的
想太多,不知道什么时候会成为那么大公司的吞吐量呢?
域名到站点的负载均衡技术一览(主要是探讨一台Nginx抵御大并发的解决方案)(转)https://www.cnblogs.com/EasonJim/p/7823410.html的更多相关文章
- 负载均衡技术在CDN中发挥着重要作用
转载地址:http://www.qicaispace.com/gonggao/server/page01/info07.asp CDN是一个经策略性部署的整体系统,能够帮助用户解决分布式存储.负载均衡 ...
- 转载-lvs官方文档-LVS集群中的IP负载均衡技术
章文嵩(wensong@linux-vs.org) 2002 年 4 月 本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集群中实现的三种IP负载均衡技术(VS/NAT.VS/TUN ...
- LVS集群中的IP负载均衡技术
LVS集群中的IP负载均衡技术 章文嵩 (wensong@linux-vs.org) 转自LVS官方参考资料 2002 年 4 月 本文在分析服务器集群实现虚拟网络服务的相关技术上,详细描述了LVS集 ...
- 快速理解高性能HTTP服务端的负载均衡技术原理(转)
1.前言 在一个典型的高并发.大用户量的Web互联网系统的架构设计中,对HTTP集群的负载均衡设计是作为高性能系统优化环节中必不可少的方案.HTTP负载均衡的本质上是将Web用户流量进行均衡减压,因此 ...
- 亿级PV请求的三种负载均衡技术
在互联网+不断渗透到生活中的今天,各种各样的网络服务存在在我们身边,他们的访问流量也是大得惊人.一个大型网站(百万PV以上)想要正常访问,单单靠一台服务器是不可能提供稳定服务的.这时候就需要用负载均衡 ...
- LVS集群中实现的三种IP负载均衡技术
LVS有三种IP负载均衡技术:VS/NAT,VS/DR,VS/TUN. VS/NAT的体系结构如图所示.在一组服务器前有一个调度器,它们是通过Switch/HUB相连接的.这些服务器 提供相同的网络服 ...
- Lvs IP负载均衡技术
Lvs集群的通用结构 Lvs集群采用IP负载均衡技术,属于IP层的交换(L4),具有很好的吞吐率.调度器分析客户端到服务器的IP报头信息,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器 ...
- 亿级PV请求的三种负载均衡技术(转)
http://www.360doc.com/content/17/1126/23/50145453_707419125.shtml 目录 DNS轮询 LVS负载均衡 DR模式 NAT模式 ...
- 三种LVS负载均衡技术的优缺点----负载均衡调度算法
三种LVS负载均衡技术的优缺点归纳以下表: VS/NATVS/TUNVS/DR 服务器操作系统任意支持隧道多数(支持Non-arp) 服务器网络私有网络局域网/广域网局域网 服务器数目(100M网络) ...
随机推荐
- LeetCode--025--k个一组翻转链表(java)
给出一个链表,每 k 个节点一组进行翻转,并返回翻转后的链表. k 是一个正整数,它的值小于或等于链表的长度.如果节点总数不是 k 的整数倍,那么将最后剩余节点保持原有顺序. 示例 : 给定这个链表: ...
- 机器学习 之梯度提升树GBDT
目录 1.基本知识点简介 2.梯度提升树GBDT算法 2.1 思路和原理 2.2 梯度代替残差建立CART回归树 1.基本知识点简介 在集成学习的Boosting提升算法中,有两大家族:第一是AdaB ...
- 『TensorFlow』读书笔记_进阶卷积神经网络_分类cifar10_上
完整项目见:Github 完整项目中最终使用了ResNet进行分类,而卷积版本较本篇中结构为了提升训练效果也略有改动 本节主要介绍进阶的卷积神经网络设计相关,数据读入以及增强在下一节再与介绍 网络相关 ...
- PI接口开发之调java WS接口
java提供的WSDL:http://XXX.XXX.XXX.XX/XXXXXXXcrm/ws/financialStatementsService?wsdl 登陆PI,下载Enterprise Se ...
- 获取页面定位元素left top
1原生方法: 第一种方法,比较简单,就是直接通过obj.style.left和obj.style.top,但是有局限性,这种获取的方法只能获取到行内样式的left和top的属性值,不能获取到style ...
- 微信小程序城市定位(百度地图API)
概述 微信小程序提供一些API(地址)用于获取当前用户的地理位置等信息,但无论是wx.getLocation,还是wx.chooseLocation均没有单独的字段表示国家与城市信息,仅有经纬度信息. ...
- C++ leetcode Binary Tree Maximum Path Sum
偶然在面试题里面看到这个题所以就在Leetcode上找了一下,不过Leetcode上的比较简单一点. 题目: Given a binary tree, find the maximum path su ...
- python - 基础知识,if语句
一.认识计算机 计算机是一个高度集成的电子电路. 组成:CPU(中央处理器).内存 .主板 .电源(心脏) .显示器 .键盘 .鼠标 .显卡(NAVID,AMD) .硬盘 操作系统 :Windo ...
- Alpha 冲刺 (10/10)
Alpha 冲刺 (10/10) 队名:第三视角 组长博客链接 本次作业链接 团队部分 团队燃尽图 工作情况汇报 张扬(组长) 过去两天完成了哪些任务: 文字/口头描述: 1.和愈明.韫月一起对接 2 ...
- Java面试(一) -- 基础部分(1)
1 .一个".java" 源文件中是否可以包括多个类(不是内部类)?有什么限制?答:可以有多个类,但只能有一个 public 的类,并且 public 的类名必须与文件名相一致.. ...