背景:一个公共站点中的数据,供其它子站点共享,为了提高性能,简单实现了Http 1.1的缓存功能

特点:可以缓存Html数据到内存中;缓存具有过期时间;缓存过期后,通过再确认的方式来决定是否更新缓存;浏览器刷新后,无论缓存是否过期都会强制再验证;

未实现的包括:不能通过no-store来强制清空缓存,缓存再确认时没有验证Etag

/// <summary>
/// 启用缓存的HttpRequest
/// </summary>
public static class CacheHttpRequest
{
private static Dictionary<String,HtmlLocalCache> _caches = new Dictionary<string,HtmlLocalCache>();
private static object AddCacheLock = new Object(); public static String GetHtml(String url)
{
HtmlLocalCache cache;
//如果有缓存,且缓存尚未过期,或不需要重新验证,则直接返回内容
if(_caches.TryGetValue(url,out cache))
{
if(!cache.NeedRevalidate())
{
return cache.Html;
}
} var webRequest = (HttpWebRequest)WebRequest.Create(url);
//如果有缓存,且需要重新验证,则设置它的IMS信息,为了简便,这里没有验证ETag
if(cache != null)
{
webRequest.IfModifiedSince = cache.LastModified;
} HttpWebResponse response = null;
Stream stream = null;
try
{
response = webRequest.GetHttpResponse();
//如果服务器资源没有修改,则修改缓存信息后,返回内容
if (cache != null && response.StatusCode == HttpStatusCode.NotModified)
{
cache.UpdateCacheProperty(response);
return cache.Html;
} //服务器资源已经修改,重新获取内容,并放入缓存
if (response.StatusCode == HttpStatusCode.OK)
{
stream = response.GetResponseStream();
TextReader reader = new StreamReader(stream); cache = new HtmlLocalCache();
cache.SetCacheProperty(response);
cache.Html = reader.ReadToEnd();
AddHtmlToCache(url, cache); return cache.Html;
} return "";
}
finally
{
if(response != null) response.Close();
if(stream != null) stream.Dispose();
}
} private static void AddHtmlToCache(string url, HtmlLocalCache cache)
{
lock (AddCacheLock)
{
if (!_caches.ContainsKey(url))
{
_caches.Add(url, cache);
}
}
} /// <summary>
/// 缓存数据
/// </summary>
private class HtmlLocalCache
{
public String Html;
public DateTime LastModified;
public DateTime? ExpiredTime;
public DateTime HttpDate;
private Object _updateLock = new Object(); public Boolean NeedRevalidate()
{
if (ExpiredTime == null) return true;
if (FromRefresh()) return true;
return DateTime.Now > ExpiredTime;
} /// <summary>
/// 看是否是页面刷新
/// </summary>
/// <returns></returns>
private static bool FromRefresh()
{
string requestCacheControl = HttpContext.Current.Request.Headers["Cache-Control"];
String pragma = HttpContext.Current.Request.Headers["Pragma"];
Boolean isRefresh = (pragma != null &&
pragma.Equals("no-cache", StringComparison.OrdinalIgnoreCase)
|| requestCacheControl != null &&
requestCacheControl.Equals("no-cache", StringComparison.OrdinalIgnoreCase)); if (isRefresh) return true;
return false;
} private void SetCacheControl(string cacheControl)
{
if (String.IsNullOrEmpty(cacheControl)) return; if(cacheControl.Contains("max-age"))
{
Double maxAge = Double.Parse(cacheControl.Substring(cacheControl.IndexOf('=')+));
ExpiredTime = HttpDate.AddSeconds(maxAge);
}
} public void SetCacheProperty(HttpWebResponse response)
{
LastModified = response.LastModified;
HttpDate = Convert.ToDateTime(response.Headers["Date"]);
//使用cache-control来控制缓存过期时间,不使用expires
SetCacheControl(response.Headers["Cache-Control"]);
} public void UpdateCacheProperty(HttpWebResponse response)
{
lock (_updateLock)
{
SetCacheProperty(response);
}
}
}
}

一个具有缓存数据功能的HttpWebRequest工具类的更多相关文章

  1. Java,面试题,简历,Linux,大数据,常用开发工具类,API文档,电子书,各种思维导图资源,百度网盘资源,BBS论坛系统 ERP管理系统 OA办公自动化管理系统 车辆管理系统 各种后台管理系统

    Java,面试题,简历,Linux,大数据,常用开发工具类,API文档,电子书,各种思维导图资源,百度网盘资源BBS论坛系统 ERP管理系统 OA办公自动化管理系统 车辆管理系统 家庭理财系统 各种后 ...

  2. 推荐一个同步Mysql数据到Elasticsearch的工具

    把Mysql的数据同步到Elasticsearch是个很常见的需求,但在Github里找到的同步工具用起来或多或少都有些别扭. 例如:某记录内容为"aaa|bbb|ccc",将其按 ...

  3. 浅析Android Camera开发中的三个尺寸和三种变形 (贡献一个自适配Picturesize和Previewsize的工具类)

    转至 (http://blog.csdn.net/yanzi1225627/article/details/17652643) 经常听人问Camera开发中,各种变形问题,今天有空就在此梳理总结下. ...

  4. 下载数据到Excel,工具类

    使用反射将model数据下载到Excel中 package test.upload.utils; import java.lang.reflect.Method; import java.math.B ...

  5. Android 开发 记录一个DP、PX、SP转换工具类

    public class UnitConversionUtil { /** * 根据手机分辨率从DP转成PX * @param context * @param dpValue * @return * ...

  6. 一个HttpWebRequest工具类

      using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.N ...

  7. 一个java创建,删除,构建Jenkins等功能的JenkinsUtil工具类

    package com.vip.webpagetest.utils; import java.io.InputStream;import java.util.ArrayList;import java ...

  8. 一个很好的通用 excel 导出工具类

    此类用主要 jxl +注解+流 实现扩展性很强,jxl性能会比poi好一点,值得我们学习. package oa.common.utils; import java.io.OutputStream; ...

  9. 封装一个List集合和datatable相互转换的工具类(可对指定列进行重命名并且指定输出列)

    /// <summary> /// List转换为DataTable对象 /// </summary> public class ListTranTableModel { // ...

随机推荐

  1. 实验的方差分析(R语言)

    实验设计与数据处理(大数据分析B中也用到F分布,故总结一下,加深印象)第3课小结--实验的方差分析(one-way analysis of variance) 概述 实验结果\(S\)受多个因素\(A ...

  2. 执行力:Just Do It

    执行力,最最关键的一点就是,立即去做,不要想太多. 当有一件事需要去做的时候,你的大脑肯定是接受到了"某种信号",比如来了一个灵感.受到一点启发.做某件事突然来了兴趣.或者想去探讨 ...

  3. Luogu P2577 [ZJOI2005]午餐

    一道贪心+类背包DP的好题 首先发现一个十分显然的性质,没有这个性质整道题目都难以下手: 无论两队的顺序如何,总是让吃饭慢的人先排队 这是一个很显然的贪心,因为如果让吃饭慢的排在后面要更多的时间至少没 ...

  4. flask登录注册简单的例子

    1.主程序 # app.py # Auther: hhh5460 # Time: 2018/10/05 # Address: DongGuan YueHua from functools import ...

  5. python 回溯法 子集树模板 系列 —— 2、迷宫问题

    问题 给定一个迷宫,入口已知.问是否有路径从入口到出口,若有则输出一条这样的路径.注意移动可以从上.下.左.右.上左.上右.下左.下右八个方向进行.迷宫输入0表示可走,输入1表示墙.为方便起见,用1将 ...

  6. [CF1065F]Up and Down the Tree[树dp]

    题意 给定一棵以 \(1\) 为根的树,你每次可以选择跳到某个叶子节点,再跳到和他深度差不超过 \(k\) 的祖先.询问最多能够跳到多少个叶子节点. \(n,k\leq 10^6\) . 分析 最后的 ...

  7. exchange 2010 的两个错误

    最近公司要搭建邮件服务器 过程中 碰到两个问题,记录下来. 引以为戒 . 1,登陆界面能出来 但是无论输入什么都显示 乱码.问题原因 身份验证有问题. 如图所示:  改成这个,然后 重启 iis 就可 ...

  8. WebService技术,服务端and客户端JDK-wsimport工具(一)

    使用webservice服务,需要了解几个名词:soap 简单对象协议.http+xml . WSDL 先看下代码结构: 服务端代码与客户端代码分别处于两不同的包中 一.服务端内容 服务端: @Web ...

  9. selenium+ python自动化--断言assertpy

    前言: 在对登录验证时,不知道为何原因用unittest的断言不成功,就在网上发现这个assertpy,因此做个笔记 准备: pip install assertypy 例子: from assert ...

  10. 接口自动化学习--testNG

    一个月一更的节奏~ testNg是一个开源的自动化测试框架..具体那些什么特点的就不想打了- -,贴张图(虽然也看不懂): 学习网站:https://www.yiibai.com/testng 一样是 ...