企业级缓存系统varnish应用与实战

  环境背景:随着公司业务快速发展,公司的电子商务平台已经聚集了很多的忠实粉丝,公司也拿到了投资,这时老板想通过一场类似双十一的活动,进行一场大的促销,届时会有非常多的粉丝访问网站,你的总监与市场部门开完会后,确定活动期间会有平常10倍以上的访问请求,总监要求大幅增加网站容量,除了去扩容服务器之外,还有没有其他办法呢?

总项目流程图,详见 http://www.cnblogs.com/along21/p/8000812.html

实现基于Keepalived+Haproxy+Varnish+LNMP企业级架构

原理:

缓存,又称加速器,用于加速运行速度较快的设备与较慢设备之间的通信。基于程序的运行具有局部性特征其能实现加速的功能

1、环境准备

 

机器名称

IP配置

服务角色

备注

haproxy-server-master

VIP:172.17.100.100

DIP:172.17.1.6

负载均衡器

主服务器

配置keepalived

haproxy-server-backup

VIP:172.17.100.100

DIP:172.17.11.11

负载服务器

从服务器

配置keepalived

varnish

RIP:192.168.30.2

缓存服务器

开启代理功能

rs01

RIP:192.168.30.107

后端服务器

开启lnmp的web

rs02

RIP:192.168.30.7

后端服务器

开启lnmp的web

2、在两个 haproxy上设置

全局段和默认段不用修改,就不写了

vim /etc/haproxy/haproxy.cfg

vim /etc/haproxy/haproxy.cfg
① frontend 前端设置
frontend web
bind :80
acl staticfile path_end .jpg .png .bmp .htm .html .css .js
use_backend varnish-server if staticfile
default_backend appsrvs
② backend 后端设置
backend varnish-server
balance roundrobin
server varnishsrv 192.168.30.2: check inter rise fall 3
backend appsrvs
balance roundrobin
server appsrv1 192.168.30.107:80 check inter 3000 rise 3 fall 3
server appsrv2 192.168.30.7:80 check inter 3000 rise 3 fall 3
③ 可以加个web状态监测页面,可要可不要
listen admin
bind :
stats enable
stats hide-version
stats uri /haproxy?admin
stats realm HAProxy\ Statistics
stats auth along:along
stats refresh 20s
stats admin if TRUE

3、设置keepalived

(1)在主haproxy-master

① 全局段,主要是设置发邮件的
global_defs {
notification_email {
root@localhost
}
notification_email_from root@along.com
smtp_server 127.0.0.1
smtp_connect_timeout
router_id keepalived_haproxy
}
② 编辑一个健康监测脚本,每2秒监测一次haproxy进程
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval
fall
rise
weight -
}
③ 定义主从和VIP
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id
priority
advert_int
authentication {
auth_type PASS
auth_pass along
}
virtual_ipaddress {
172.17.100.100
}
track_script { //调用上边的脚本
chk_haproxy
}
}

(2)在从haproxy-backup 上,和主差不多,只需修改主从和优先级

vrrp_instance VI_1 {
state BACKUP
interface eth1
virtual_router_id
priority
advert_int
authentication {
auth_type PASS
auth_pass along
}
virtual_ipaddress {
172.17.100.100
}
}

4、设置varnish

(1)设置配置,管理Management进程的配置文件,配置进程的

vim /etc/varnish/varnish.params 修改端口和缓存类型及缓存大小

VARNISH_ADMIN_LISTEN_PORT=6082

VARNISH_STORAGE="file,/data/cache,1G"

(2)设置总配置文件,配置缓存系统的

vim /etc/varnish/default.vcl

(a)第一段

① 设置一个健康监测
vcl 4.0; //指定版本
import directors; //加载后端的轮询模块
probe backend_healthcheck { //设置名为backend_healthcheck的健康监测
.url = "/index.html";
.window = ; #窗口
.threshold = ; #门槛
.interval = 3s;
.timeout = 1s;
} ② 设置后端server
backend web1 {
.host = "192.168.30.107";
.port = "";
.probe = backend_healthcheck;
}
backend web2 {
.host = "192.168.30.7";
.port = "";
.probe = backend_healthcheck;
} ③ 配置后端集群事件
sub vcl_init {
new web_cluster = directors.round_robin(); //把web1和web2 配置为轮询集群,取名为web_cluste
web_cluster.add_backend(web1);
web_cluster.add_backend(web2);
}
acl purgers { # 定义可访问来源IP,权限控制
"127.0.0.1";
"172.17.0.0"/;
}

(b)第二段,定义引擎

① 定义vcl_recv 引擎,不认识的头部请求直接扔后端的pass
sub vcl_recv {
if (req.method == "GET" && req.http.cookie) {
return(hash); //处理完recv 引擎,给下一个hash引擎处理
}
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PURGE" &&
req.method != "DELETE") {
return (pipe); //除了上边的请求头部,通过通道直接扔后端的pass
}
② 定义index.php通过特殊通道给后端的server,不经过缓存
if (req.url ~ "index.php") {
return(pass);
}
③ 定义删除缓存的方法
if (req.method == "PURGE") { # PURGE请求的处理的头部,清缓存
if (client.ip ~ purgers) {
return(purge);
}
}
④ 为发往后端主机的请求添加X-Forward-For首部
if (req.http.X-Forward-For) { # 为发往后端主机的请求添加X-Forward-For首部
set req.http.X-Forward-For = req.http.X-Forward-For + "," + client.ip;
} else {
set req.http.X-Forward-For = client.ip;
}
return(hash);
} ⑤ 定义vcl_hash 引擎,后没有定义hit和Miss的路径,所以走默认路径
sub vcl_hash {
hash_data(req.url);
} ⑥ 定义要缓存的文件时长
sub vcl_backend_response { # 自定义缓存文件的缓存时长,即TTL值
if (bereq.url ~ "\.(jpg|jpeg|gif|png)$") {
set beresp.ttl = 30d;
}
if (bereq.url ~ "\.(html|css|js)$") {
set beresp.ttl = 7d;
}
if (beresp.http.Set-Cookie) { # 定义带Set-Cookie首部的后端响应不缓存,直接返回给客户端
set beresp.grace = 30m;
return(deliver);
}
} ⑦ 定义deliver 引擎
sub vcl_deliver {
if (obj.hits > ) { # 为响应添加X-Cache首部,显示缓存是否命中
set resp.http.X-Cache = "HIT from " + server.ip;
} else {
set resp.http.X-Cache = "MISS";
}
unset resp.http.X-Powered-By; //取消显示php框架版本的header头
unset resp.http.Via; //取消显示varnish的header头
}

5、开启服务的顺序

① 先开启后端server事先搭建好的lnmp web服务

systemctl start nginx

systemctl start php-fpm

systemctl start mariadb

② 再开启varnish缓存服务器

service varnish start

③ 开启主从的keepalived,提供VIP

service keepalived start

④ 开启haproxy服务

service haproxy start

6、测试

(1)配置完成后,client访问,http://172.17.100.100/ ,成功访问web

(2)访问http://172.17.100.100:9527/haproxy?admin ,haproxy的web监测页面,正常

(3)当主haproxy 宕机时,VIP自动漂移到从上,且服务正常使用

在主haproxy 上,server stop haproxy,VIP会漂到从上

(4)varnish 缓存服务器上,确实生成了缓存文件

F12打开网页的调试页面,查看确实缓存了

(5)测试清缓存的功能,PURGE 发送头部信息

(6)后端有一台server 宕机,服务照常使用

systemctl stop nginx

项目实战5—企业级缓存系统varnish应用与实战的更多相关文章

  1. 企业级缓存系统varnish应用

    场景 随着公司业务快速发展,公司的电子商务平台已经聚集了很多的忠实粉丝,公司也拿到了投资,这时老板想通过一场类似双十一的活动,进行一场大的促销,届时会有非常多的粉丝访问网站,你的总监与市场部门开完会后 ...

  2. 服务器后端开发系列——《实战Memcached内存缓存系统》

    1.实战Memcached缓存系统(1)Memcached基础及示例程序 内容:建筑Memcached背景知识和入门示例程序. 2.实战Memcached缓存系统(2)Memcached Java A ...

  3. Java商城秒杀系统的设计与实战视频教程(SpringBoot版)

    课程目标掌握如何基于Spring Boot构建秒杀系统或者高并发业务系统,以及构建系统时采用的前后端技术栈适用人群Spring Boot实战者,微服务或分布式系统架构实战者,秒杀系统和高并发实战者,中 ...

  4. 个人项目--“”小鱼企业级开发系统“”Svn地址分享

    由于精力有限,博主现在只维护这一个系统,会不时的更新代码提交. ""小鱼企业级开发系统""的Svn地址:http://code.taobao.org/svn/S ...

  5. 项目四:Java秒杀系统方案优化-高性能高并发实战

    技术栈 前端:Thymeleaf.Bootstrap.JQuery 后端:SpringBoot.JSR303.MyBatis 中间件:RabbitMQ.Redis.Druid 功能模块 分布式会话,商 ...

  6. 项目实战15—企业级堡垒机 jumpserver

    本文收录在Linux运维企业架构实战系列 环境准备 系统:CentOS 7 IP:192.168.10.101 关闭selinux 和防火墙 # CentOS $ setenforce # 可以设置配 ...

  7. varnish缓存系统基础知识

    缓存系统类型 1.页面缓存/pageCache     缓存静态资源(html js css image)  例如:varnish    squid 2.数据缓存/dataCache      缓存应 ...

  8. WEB缓存系统之varnish状态引擎

    前文我们聊了下varnish的VCL配置以及语法特点,怎样去编译加载varnish的vcl配置,以及命令行管理工具varnishadm怎么去连接varnish管理接口进行管理varnish,回顾请参考 ...

  9. (转)实战Memcached缓存系统(1)Memcached基础及示例程序

    1.Cache定义 (1)狭义概念:用于CPU的相对高速处理与主存(Main Memory)的相对低速处理的之间起到协调功能的硬件设备. (2)广义概念:用于速度相差较大的两种硬件之间,起到协调两者数 ...

随机推荐

  1. 【NOIP2015提高组】Day1 t1神奇的幻方

    一大淼题,直接瞎搞即可,不过一定要仔细看题目给定的条件. #include<iostream> #include<cstdio> #include<cstring> ...

  2. ajax上传图片的本质

    1.图片上传到服务器. 2.后台将图片地址传到html页面,以图片形式展现. 3.后天将图片地址加入到input表单中,表单处于隐藏状态. 4.前端删除图片,通过js操作,移除图片与表单数据. 5.图 ...

  3. 开源纯C#工控网关+组态软件(四)上下位机通讯原理

    一.   网关的功能:承上启下 最近有点忙,更新慢了.感谢园友们给予的支持,现在github上已经有.目标是最好的开源组态,看来又近一步^^ 之前有提到网关是物联网的关键环节,它的作用就是承上启下. ...

  4. 谈一谈原生JS中的【面向对象思想】

           [重点提前说:面向对象的思想很重要!]         最近开始接触学习后台的PHP语言,在接触到PHP中的面向对象相关思想之后,突然想到之前曾接触的JS中的面向对象思想,无奈记性太差, ...

  5. VC++6.0在win8.1系统下运行失败的解决办法

    在win8.1系统下安装了VC++6,.0编译软件之后,发现打不开.出现下面的错误: 解决办法: 安装文件目录:Microsoft Visual Studio--common--MSDev98--Bi ...

  6. SpringMVC自定义配置消息转换器踩坑总结

    问题描述 最近在开发时候碰到一个问题,springmvc页面向后台传数据的时候,通常我是这样处理的,在前台把数据打成一个json,在后台接口中使用@requestbody定义一个对象来接收,但是这次数 ...

  7. C++ 空间配置器(allocator)

    C++ 空间配置器(allocator) 在STL中,Memory Allocator 处于最底层的位置,为一切的 Container 提供存储服务,是一切其他组件的基石.对于一般使用 STL 的用户 ...

  8. 最最简单的CentOs6在线源搭建

    非常实用的在线源搭建,只要4步骤 1.点击进入http://mirrors.aliyun.com/repo/epel-6.repo ,这是阿里云的源 2.复制所有的代码  ctrl+a,ctrl+c ...

  9. Boolean 相关

    Boolean(something) 会把里面的变量转化为布尔型   当我们用if(something)判断的时候,相当于调用了这个函数   转化规则如下 DATA TYPE VALUES CONVE ...

  10. 收集—— css实现垂直居中

    Method1: 在父元素上设置display:table-cell;vertical-align:middle(父元素不能设置浮动) Method2: 使用flex:父元素设置成display: f ...