理解web服务器和数据库的负载均衡以及反向代理
这里的“负载均衡”是指在网站建设中应该考虑的“负载均衡”。假设我们要搭建一个网站：aaa.me，我们使用的web服务器每秒能处理100条请求，而aaa.me这个网站最火的时候也只是每秒99条请求，那么我们使用一个服务器是完全可以的。
但是若该网站平均每秒的请求是200多次，那么问题就来了：这已经是最好的web服务器了，我该怎么办？同样的情景也适用于数据库。要解决这种问题，就需要了解“负载均衡”的原理了。
web服务器如何做负载均衡
为web服务器做负载均衡适用的的较多的方式是DNS重定向和反向代理，其他的方式原理也是很类似。
我们多次ping一下百度，会发现回复的IP会有所不同，例如第一次的结果为：
来自 220.181.111.86 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.86 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.86 的回复: 字节=32 时间=27ms TTL=51
过一会再Ping一次，结果可能就变了：
来自 220.181.111.85 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.85 的回复: 字节=32 时间=27ms TTL=51
来自 220.181.111.85 的回复: 字节=32 时间=29ms TTL=51
使用nslookup命令可以看到多个ip与baidu.com对应。在这里用到的就是DNS重定向技术，原理很简单：DNS服务器保存某域名对应的多个IP，客户端发出DNS请求时DNS服务器根据算法将IP发回给客户端；发送回的一般是一个IP地址集合，但是每次的排序不同，第一次的第一个IP为201.11.11.1，第二次的第一个可能是201.11.11.2，客户端使用的是第一个IP——简单地说，就是客户端每次获取的域名的IP可能不同。不同的IP对应不同的web服务器，但是这些web服务器的内容应该是一样的。
我们从下图理解反向代理：
客户端向反向代理发送HTTP请求报文（若该网站有域名，域名的IP是反向代理服务器的外网IP），反向代理将请求报文随机发送给一个web服务器，web服务器将HTTP响应报文发送给反向代理，反向代理再将这报文返回给客户端。既然这样简单，我们就可以着手实现一个简单的反向代理。
在linux mint 15 下安装apache和nginx服务器，在apache的80端口的文档根目录下创建文件index.html，内容如下：
<head>
<title>index</title>
</head>
<body>
<h1>hello, i am apache</h1>
</body>
</html>
在nginx的8080端口的文档根目录下创建文件index.html，内容如下：
<head>
<title>index</title>
</head>
<body>
<h1>hello, i am nginx</h1>
</body>
</html>
创建源文件simple_reverse_proxy.py，内容如下：
#-*-encoding:utf8-*-
'''
这是一个简单的反向代理服务器
'''
import BaseHTTPServer
import urllib2
HOST_NAME = '127.0.0.1'
PORT_NUMBER = 8081 #端口
SERVER_URL=('http://127.0.0.1:80','http://127.0.0.1:8080')
server_choice = 0
class MyHandler(BaseHTTPServer.BaseHTTPRequestHandler):
def do_GET(s):
"""response to a GET request"""
global server_choice
url = SERVER_URL[server_choice]
print url
server_choice = (server_choice + 1) % 2
headers = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
try:
req = urllib2.Request(url, None, headers)
response = urllib2.urlopen(req)
html = response.read()
#print html
s.send_response(200);
s.send_header("Content-type", "text/html")
s.end_headers()
s.wfile.write(html)
except:
s.send_response(404);
s.send_header("Content-type", "text/html")
s.end_headers()
s.wfile.write('<h2>404</h2>')
if __name__ == '__main__':
server_class = BaseHTTPServer.HTTPServer
httpd = server_class((HOST_NAME, PORT_NUMBER), MyHandler)
try:
httpd.serve_forever()
except KeyboardInterrupt:
pass
httpd.server_close()
启动apache、nginx，并运行simple_reverse_proxy.py。我们在浏览器中打开http://127.0.0.1:8081，我们可以看到：
刷新一下可以看到：
而simple_reverse_proxy.py会有以下信息输出：
http://127.0.0.1:80
127.0.0.1 - - [05/Sep/2013 19:25:02] "GET / HTTP/1.1" 200 -
http://127.0.0.1:8080
127.0.0.1 - - [05/Sep/2013 19:25:43] "GET / HTTP/1.1" 200 -
当然，开源世界里已经有很多优秀的反向代理服务器了，例如Nginx。
只要理解了反向代理的原理，更复杂的架构也容易去实现。
数据库的负载均衡
对于大型网站，一个数据库系统肯定会遇到无法负担大量的读请求、写请求的情况。那么我们怎么来通过负载均衡来实现高并发的读写请求呢？
这其中一个很好的方法就是读写分离：将原本针对一个数据库服务器的读写请求分成读请求和写请求，向一个（或者多个）数据库服务器发送写请求，向另外一个（或多个）服务器发送读请求，这可以明显的提高响应时间。不过其中有一个难点，就是必须保持多个数据库服务器中的数据是一致的，不用担心，很多数据库系统已经实现了这个功能。下面是一个架构示例：
上图中其实有一个写写冲突的问题，想象以下场景：
该系统用于存放某网站的用户注册信息，该网站不允许用户名相同，且以用户名为唯一主键，所以在单数据库架构中必须涉及到事务的处理。现在在这个负载均衡的数据库架构中，用户A要注册用户名为xiaoming，这个写请求分配给了db server 1；与此同时用户B同样注册用户名xiaoming，如果写请求分配给了db server1，就不会有问题发生，可是如果分配给db server 2呢？两个db server分别存放了不同用户的用户名相同的用户信息！解决的方法很简单，写请求的分配不能用随机算法，应该使用哈希映射，例如注册的用户名首字母为x时，写请求分配各 db server2，其他写请求一律分配给db server 1。
另外一个问题，这种架构为开发应用提供了很大的灵活性，就是这种架构不适用于某些ORM框架，解决方法就是在这个架构上再加上一层——“数据库代理”。例如对于MySQL，就有MySQL Proxy这样的解决方案。
理解web服务器和数据库的负载均衡以及反向代理的更多相关文章
- [Web] 如何实现Web服务器和应用服务器的负载均衡？
本文对Web服务器和应用服务器的负载均衡进行说明. 在负载均衡的思路下,多台服务器为对称方式,每台服务器都具有同等的地位,可以单独对外提供服务而无须其他服务器的辅助.通过负载分担技术,将外部发送来的请 ...
- nginx高性能WEB服务器系列之六--nginx负载均衡配置+健康检查
nginx系列友情链接:nginx高性能WEB服务器系列之一简介及安装https://www.cnblogs.com/maxtgood/p/9597596.htmlnginx高性能WEB服务器系列之二 ...
- Nginx可以说是标配组件，但是主要场景还是负载均衡、反向代理、代理缓存、限流等场景；而把Nginx作为一个Web容器使用的还不是那么广泛。
Nginx可以说是标配组件,但是主要场景还是负载均衡.反向代理.代理缓存.限流等场景:而把Nginx作为一个Web容器使用的还不是那么广泛. 用Nginx+Lua(OpenResty)开发高性能Web ...
- 查找“CDN、负载均衡、反向代理”等大型网络真实IP地址的方法
首先,CDN.负载均衡.反向代理还分为很多层,有时查出来的是最外层的 CDN 服务器群,真实的机器是不对外开放的,类似这样的: 用户 → CDN 网络 → 一台或多台真实机器 ↗ CDN Server ...
- CentOS中实现Nginx负载均衡和反向代理
一.安装必要软件 负载均衡服务器:IP设置为192.168.1.10 Web服务器1:安装Apache或者Nginx,IP设置为192.168.1.11: Web服务器2:安装Apache或者Ngin ...
- nginx负载均衡和反向代理有什么区别
近在研究nginx的负载均衡和反向代理,先看下这两个简单的配置吧! 负载均衡 worker_processes 1; events { worker_connections 1024; } http{ ...
- Nginx(六)：Nginx HTTP负载均衡和反向代理的配置与优化
一.什么是负载均衡和反向代理 随着网站访问量的快速增长,单台服务器已经无法承担大量用户的并发访问,必须釆用多台服务器协同工作,以提高计算机系统的处理能力和计算强度,满足当前业务量的需求.而如何在完成同 ...
- 【架构师之路】Nginx负载均衡与反向代理—《亿级流量网站架构核心技术》
本篇摘自<亿级流量网站架构核心技术>第二章 Nginx负载均衡与反向代理 部分内容. 当我们的应用单实例不能支撑用户请求时,此时就需要扩容,从一台服务器扩容到两台.几十台.几百台.然而,用 ...
- nginx的负载均衡和反向代理
本文介绍一些负载均衡和反向代理的一些基本概念,然后介绍如何基于nginx实现,包括两种安装nginx的方法:yum安装和源码安装,以及ngix该如何配置等. 什么是负载均衡? 概念 负载均衡是高可用网 ...
随机推荐
- C# IV: 数据库基础操作2
需上一篇C# III:数据库基础操作 另外一个经常碰到的数据库操作是,单次执行多个SQL语句,譬如,一次性插入多条数据. 方法一,拼凑长SQL语句 拼凑长SQL语句实际上是String的操作.如下示例 ...
- 不止面试—jvm类加载面试题详解
面试题 带着问题学习是最高效的,本次我们将尝试回答以下问题: 什么是类的加载? 哪些情况会触发类的加载? 讲一下JVM加载一个类的过程 什么时候会为变量分配内存? JVM的类加载机制是什么? 双亲委派 ...
- 云计算时代，你所不了解的 DevOps
在本文中,我们讨论如何快速地从更高的层面理解DevOps,介绍准备改变文化的最佳实践.我们将讨论DevOps的目标以及从组织管理层得到支持的方法,为DevOps的概念打下基础.我们将试着从根本上介绍使 ...
- CentOs虚拟机配置
1.打开“VMware”,点击“主页”,点“创建新的虚拟机”: 2.会弹出一个“新建虚拟机向导”,类型选择“典型”,点击“下一步”: 3.选择“稍后安装操作系统”,点击“下一步”: 4.我们用的是Li ...
- python中的__str__和__repr__方法
如果要把一个类的实例变成 str,就需要实现特殊方法__str__(): class A(object): def __init__(self,name,age): self.name=name se ...
- python： __future__的介绍
__future__ 给旧版本python提供新版本python的特性例如: 在python2.X中可以使用print"" 也可以使用print() 但是加载这个print的新特性 ...
- PostGIS安装教程
安装环境: win10专业版 postgresql-10.6-1-windows-x64 ---因为使用的是ArcGIS10.4版本,pg10.6对于ArcGIS10.4版本过高,建议选择安装pg9. ...
- Flex调用JavaScript获取文件路径
Flex的Web中有FileReference的类可以对文件操作,实现上传.下载的功能,但是没有办法获取到文件的路径. 普遍的方法是Flex调用JavaScript的文件浏览功能来获取文件路径. 1. ...
- 2019-11-28:ssrf基础学习，笔记
ssrf服务端请求伪造ssrf是一种由恶意访问者构造形成由服务端发起请求的一个安全漏洞,一般情况下,ssrf访问的目标是从外网无法访问的内部系统,正式因为它是由服务端发起的,所以它能请求到它相连而外网 ...
- linux终端操作
------------恢复内容开始------------ tab键自动补全 ls列出当前文件目录: 默认是当前目录 “.”代表当前目录 “..”代表父目录 -a显示所有,而隐藏文件的第一字符为点“ ...