高性能Web服务器Nginx的配置与部署研究(11)应用模块之Memcached模块的两大应用场景
一、应用场景1
最近在一个项目中,用到了Nginx的Memcached模块,所以就在这个系列教程中提前把Memcached模块拿出来写了。另外发现最近我的 博客文章频频被很多用采集器的网站拿走,帮我发扬光大,都不听我说声谢谢。在此还是希望我的博文被转载的时候能够被注明出处,满足下我小小的虚荣心。
现在有这样一种应用场景:
客户端Client通过Nginx反向代理,访问服务器Server。每次访问的内容就是将文件File传到Server上,然后可以访问到File的URL被广播到所有Client上,每个Client再加载File。
Analysis:
这么多Client同时加载File,对Server的压力一定很大吧?读者朋友肯定会说,有了Nginx反向代理,Client访问Server
的时候,相应访问的资源就可以被Nginx缓存,减轻了Server的压力。但有一点要注意,如果这样的话,Nginx反向代理配置的缓存是在有
Client访问到Nginx时才会从Server拿来缓存到Nginx上。可是广播后,所有Client加载File是同时的,如果等地一个访问请求到
来并使得Nginx产生缓存后,其他Client接收到广播后的加载响应,恐怕早已经发起并且接近尾声了。负载压力还是落到Server上。怎么办呢?
Solution Overview:
某个Client上传File到Server的同时,将File内容写入到Nginx的缓存中,然后广播后,Client加载File的请求在到达Nginx时去缓存中查找,那么基本是100%命中。
Deployment Solution:
(1)Reverse-Server(192.168.0.1):反向代理服务器,用Nginx实现。对外提供11000端口,接收到HTTP请求
后到Cache-Server的14000端口的缓存服务中查找,如果有则返回,如果没有则将请求传递给Store-Server的12000端口。
(2)Store-Server(192.168.0.2):文件存储服务器,用FastDFS实现。对外提供12000端口用于下载,接收来自Reverse-Sever的HTTP请求。对外还提供12500端口用于上传。
(3)Process-Server(192.168.0.3):业务处理服务器,对外提供13000端口,接收Client传递来的File,并将File通过Store-Server的12500端口转储到Store-Server中。
(4)Cache-Server(192.168.0.4):文件缓存服务器,用Memcached实现,对外提供14000端口。接收来自Reverse-Server的读操作,和Process-Server的写操作。
Configuration Solution:
(1)FastDFS的配置与部署,请参见GoogleCode上的FastDFS相关wiki。
(2)Memcached部署很简单,wget,tar,./configure,make,make install就OK了。
(3)Process-Server是由我自己实现的,不具有通用性就不说了。
(4)Reverse-Server的Nginx配置文件中http模块中,建立一个用户解决该问题的server,配置方式如下:
- server {
- listen 11000;
- server_namelocalhost;
- default_typetext/html;
- location / {
- proxy_set_headerX-Real-IP $remote_addr;
- proxy_set_headerHost $http_host;
- proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for;
- if ($request_method = POST) {
- proxy_pass http://192.168.0.2:12000;
- break;
- }
- set $memcached_key "$uri";
- memcached_pass 192.168.0.4:14000;
- error_page 501 404 502 = /fallback$uri;
- }
- location /fallback/ {
- internal;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header Host $http_host;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- proxy_redirect off;
- proxy_pass http://192.168.0.2:12000
- }
- }
Details
Nginx的Memcached模块只提供对Memcached的读操作,不提供写操作。如果Memcached中没有相应的键值,即未命中,则返
回404。如果请求未能找到Memcached
Server,则返回502错误。因此,我们可以采用这样一种方式:当返回这类错误时,将请求交给Store-Server。这样只有在不命中时才访问
Store-Server,缓存服务器由此可以为存储服务器分担很多负载。
二、应用场景2
在应用场景1中,将不命中时的逻辑换作向Memcached的写操作。这种场景的服务器系统部署方案如下:
(1)Reverse-Server:Client访问该服务器的11000端口,请求被转至Cache-Server的14000端口,如果Cache-Server命中则response;否则交给Process-Server的13000端口,进行进一步的处理。
(2)Data-Server:对外提供12000端口,用于读取数据。
(3)Process-Server:提供13000端口,用于接收Reverse-Server转发来的HTTP请求,到Store-
Server的12000端口查询,并将得到的Value与从Reverse-Server发来的Key值共同构成K-V对,通过Cache-
Server的14000端口写入Cache-Server。
(4)Cache-Server:提供14000端口,用于对外提供读写操作。
这是的Nginx的Memcached模块配置,要将request的方法为post和error_log,不再是如“应用场景1”中那样转至
Store-Server,而是都转至Process-Server去。因为应用场景1中,向Cache写的操作,是预先完成的。而应用场景2中向
Cache写的操作,是在读Cache失败后发生的。注意这两者适用的业务需求。
高性能Web服务器Nginx的配置与部署研究(11)应用模块之Memcached模块的两大应用场景的更多相关文章
- 高性能Web服务器Nginx的配置与部署研究(13)应用模块之Memcached模块+Proxy_Cache双层缓存模式
通过<高性能Web服务器Nginx的配置与部署研究——(11)应用模块之Memcached模块的两大应用场景>一文,我们知道Nginx从Memcached读取数据的方式,如果命中,那么效率 ...
- 高性能Web服务器Nginx的配置与部署研究(7)核心模块之主模块的非测试常用指令
1. error_log 含义:指定存储错误日志的文件 语法:error_log <file> [debug|info|notice|warn|error|crit] 缺省:${prefi ...
- 高性能Web服务器Nginx的配置与部署研究(2)Nginx入门级配置与部署及“Hello World”
1. Nginx 程序包 目前最新的开发版本时1.1.12: Linux/Unix:nginx-1.1.12.tar.gz Windows:nginx-1.1.12.zip 我们可以下载稳定版尝试: ...
- 高性能Web服务器Nginx的配置与部署研究(1)Nginx简介及入门示例
概述 从这篇博文起,将带领读者们一起领略Nginx的强大. Nginx 是做什么用的?我相信很多朋友都已经使用过,如果你没有,那么你一定知道以下这些名称之一:Apache,Lighttpd,Tomca ...
- 高性能Web服务器Nginx的配置与部署研究(4)Nginx常用命令
1. 启动 Nginx poechant@ubuntu:sudo ./sbin/nginx 2. 停止 Nginx poechant@ubuntu:sudo ./sbin/nginx -s stop ...
- 高性能Web服务器Nginx的配置与部署研究(12)应用模块之Memcached做文件缓存时压缩引起的问题
在上一篇文章中,提到的Nginx的Memcached模块应用场景,主要是作为文件缓存.然后就发现了一个问题,当以字节数组方式缓存较大的文件时,缓存数据会被压缩,从而在读取的时候出现问题. (本文欢迎转 ...
- 高性能Web服务器Nginx的配置与部署研究系列(1)-- 入门 hello work
简介: Nginx 是一个基于 BSD-like 协议.开源.高性能.轻量级的HTTP服务器.反向代理服务器以及电子邮件(SMTP.POP3.IMAP)服务器.Nginx 是由一个俄罗斯的名叫“Igo ...
- 高性能Web服务器Nginx的配置与部署研究(3)Nginx请求处理机制
1. 处理什么样的请求 处理访问到 Nginx 所在 IP 地址的请求,并且这些请求的 HTTP 头信息中的 Host 为所要处理的域名(如下以80端口为例),如下几个 server 就对应响应的请求 ...
- 高性能Web服务器Nginx的配置与部署研究(15)Upstream负载均衡模块
Nginx 的 HttpUpstreamModule 提供对后端(backend)服务器的简单负载均衡.一个最简单的 upstream 写法如下: server backend1.example.co ...
随机推荐
- phoenix 使用activerecord模式框架ecto 访问数据库
备注: 需要先安装mysql 以及phoenix 框架,测试使用的是docker 进行安装,具可以参考代码 1. 创建项目 mix phx.new first --database mys ...
- shell监控网卡状态,故障时自动重启网卡
今天朋友找我写个监控网卡状态的脚本,要求在系统网卡挂了可以自己启动起来,这个要求是不是很bt,我考虑了半天,简单的写了个shell脚本来监控,实现原理是使用ping来测试网络连通性,如果不通就重启 ...
- springboot: 使web项目支持jsp
1.springboot为什么不推荐使用jsp? 参考地址:https://spring.io/blog/2012/10/30/spring-mvc-from-jsp-and-tiles-to-thy ...
- ffmpeg/ffplay 添加实时的时间水印 (转)
右上角添加时间水印 ffmpeg -i 0.ts -vf drawtext="fontfile=arial.ttf:x=w-tw:fontcolor=white:fontsize=30:te ...
- 运维命令:tcpdump
tcpdump命令 tcpdump 命令是一款sniffer工具,它可以打印所有经过网络接口的数据包的头信息,也可以使用 -w 选项将数据包保存到文件中,方便以后分析. 常用参数: -a:尝试将网络 ...
- new String(tmp,1,nlen,"UTF8")
tmp是一个byte(字节)数组,如:['a','b','c'...],tmp[0]是去byte中的第一个,运算符&表示按位运算‘且’,就是前后值的二进制相同位有0取0,否则取1,如:2&am ...
- ASP.NET Ajax 客户端框架未能加载、"Sys"未定义
在Windows Server 2003 系统上部署asp.net项目出现以下问题: IIS为6.0 导致菜单控件的图片显示不出来: WebSite:程序中的图片显示正常. 但用到ASP.net 2. ...
- rapidjson的read和write的sample
头文件 #include "json/document.h" #include "json/prettywriter.h" #include "jso ...
- 利用反射及ActionFilterAttribute实现MVC权限管理
1.利用反射获取当前程序集下的所有控制器和方法,拼接后写入到数据库. public void GetRightInfo() { ; var controllerTypes = Assembly.Get ...
- Android ListView的item背景色设置
1.如何改变item的背景色和按下颜色 listview默认情况下,item的背景色是黑色,在用户点击时是黄色的.如果需要修改为自定义的背景颜色,一般情况下有三种方法: 1)设置listSelecto ...