.NetCore之接口缓存
1、问题:我们平时做开发的时候肯定都有用到缓存这个功能,一般写法是在需要的业务代码里读取缓存、判断是否存在、不存在则读取数据库再设置缓存这样一个步骤。但是如果我们有很多地方业务都有用到缓存,我们就需要在每个地方都写关于缓存的代码,这样会造成很多重复代码,同时对业务侵入不利于后续的开发维护。
2、一般的解决办法是将缓存的功能提取出来,然后在需要用到缓存的地方调用即可。这样确实减少了很多重复代码,但这样还是会存在整个项目通用的缓存功能侵入业务代码,那我们有什么办法将缓存功能完全提取出来,达到业务代码零侵入呢?
3、既然我们缓存存的是接口的业务数据,那么为何我们不能直接把整个接口缓存起来呢,即将整个接口返回的数据缓存?同时要达到业务零侵入,那我们是不是想到了反射、特性呢?没错,我们使用的就是ActionFilterAttribute,关于ActionFilterAttribute无非就是OnActionExecuting(执行动作方法前触发)、OnActionExecuted(执行动作方法后触发)、OnResultExecuting(在执行操作结果之前触发)、OnResultExecuted(在执行操作结果之后触发)这四个方法,相信很多小伙伴都用到过,这里就不细说了。那我们现在的解决方案是:在OnActionExecuting(执行动作方法前触发)里判断是否存在缓存,如果存在则不去执行接口业务,直接返回数据。还有一个问题,一般接口都会有入参,入参不同输出的数据也不同(比如我有一个分页的接口,传的page参数不同,得到的结果也不同),这个怎么解决呢?我们只需要把接口所有参数拼凑起来,然后MD5加密成一个字符串,将其作为缓存的key,那么即使同一个接口、参数不同也会得到不同的key。
4、废话不多说,直接上代码。
public class ApiCache : ActionFilterAttribute
{
/// <summary>
/// Header是否参与缓存验证
/// </summary>
public bool SignHeader = false;
/// <summary>
/// 缓存有效时间(分钟)
/// </summary>
public int CacheMinutes = ;/// <summary>
///
/// </summary>
/// <param name="SignHeader">Header是否参与请求体签名</param>
/// <param name="CacheMinutes">缓存有效时间(分钟)</param>
public ApiCache(bool SignHeader = false, int CacheMinutes = )
{
this.SignHeader = SignHeader;
this.CacheMinutes = CacheMinutes;
} public override void OnActionExecuting(ActionExecutingContext filterContext)
{
//请求体签名
string cacheKey = getKey(filterContext.HttpContext.Request);
//根据签名查询缓存
string data = CsRedisHepler.Get(cacheKey);
if (!string.IsNullOrWhiteSpace(data))
{
//有缓存则设置返回信息
var content = new Microsoft.AspNetCore.Mvc.ContentResult();
content.Content = data;
content.ContentType = "application/json; charset=utf-8";
content.StatusCode = ;
filterContext.HttpContext.Response.Headers.Add("ContentType", "application/json; charset=utf-8");
filterContext.HttpContext.Response.Headers.Add("CacheData", "Redis");
filterContext.Result = content;
}
} public override void OnActionExecuted(ActionExecutedContext filterContext)
{
base.OnActionExecuted(filterContext);
} public override void OnResultExecuting(ResultExecutingContext filterContext)
{
base.OnResultExecuting(filterContext);
} public override void OnResultExecuted(ResultExecutedContext filterContext)
{
if (filterContext.HttpContext.Response.Headers.ContainsKey("CacheData")) return;
//获取缓存key
string cacheKey = getKey(filterContext.HttpContext.Request);
var data = JsonSerializer.Serialize((filterContext.Result as Microsoft.AspNetCore.Mvc.ObjectResult).Value);
//如果缓存null,则设置较短过期时间(此处是防止缓存穿透)
var disData = JsonSerializer.Deserialize<Dictionary<string, object>>(data);
if(disData.ContainsKey("data") && disData["data"]==null)
{
CacheMinutes = ;
}
CsRedisHepler.Set(cacheKey, data, TimeSpan.FromMinutes(CacheMinutes));
}
/// <summary>
/// 请求体MDH签名
/// </summary>
/// <param name="request"></param>
/// <returns></returns>
private string getKey(HttpRequest request)
{
var keyContent = request.Host.Value + request.Path.Value + request.QueryString.Value + request.Method + request.ContentType + request.ContentLength;
try
{
if (request.Method.ToUpper() != "DELETE" && request.Method.ToUpper() != "GET" && request.Form.Count > )
{
foreach (var item in request.Form)
{
keyContent += $"{item.Key}={item.Value.ToString()}";
}
}
}
catch (Exception e)
{ }
if (SignHeader)
{
var hs = request.Headers.Where(a => !(new string[] { "Postman-Token", "User-Agent" }).Contains(a.Key)).ToDictionary(a => a);
foreach (var item in hs)
{
keyContent += $"{item.Key}={item.Value.ToString()}";
}
}
//md5加密
return CryptographyHelper.MD5Hash(keyContent);
}
这里使用的是redis,也可以选择其他的,代码简单没有做适配,这样我们只需要在用到缓存的接口上加上[ApiCache(CacheMinutes =1)]特性就行啦,关于参数的话也可以根据自己的业务需求来定制。
5、关于缓存的三座大山:缓存穿透、缓存击穿、缓存雪崩,这块网上有很多的资料可以看,这里只做一个简单的介绍跟解决思路。
缓存穿透:访问一个不存在的key时,请求会穿过缓存直接请求数据库。比如现在有个接口是分页的,然后客户端请求接口的时候将pageindex参数给的很大,大到该接口不可能有这么多页的数据时,每次请求都会穿过缓存去查数据库。如果有人故意攻击接口就会给数据库造成巨大压力甚至挂掉。当然,这里我们肯定也要做一些业务参数的校验,比如每页条数不能超过多少之类的,总之不能轻信客户端传过来的参数。
解决方案:最简单有效的解决方案是当在数据库也查不到数据的时候,设置一个value为null的缓存值(该值的过期时间要尽量短),这样就可以避免恶意攻击。另外就是使用布隆过滤器。
我们这里使用的解决方案是第一种设置null值,在上述的代码中有注释。不过这里最好接口有一个返回规范,比如每个接口返回固定值:message、code、data这几个字段, 那么我们只需判断data是否为空来设置过期时间。
缓存击穿:某一个访问量极高的key过期,导致所有请求打在数据库上。
解决方案:将访问量高德key设置永不过期、使用互斥锁。我们这里使用设置key永不过期就行,具体实现就是加一个是否过期的字段从外部传入,再根据该字段判断是否设置过期时间。同时可以写一个定时任务去更新设置为永不过期的key值。
缓存雪崩:某一时刻多个高访问量的key同时过期。
解决方案:在设置过期时间的时候将每个key的过期时间设置分布开来,在上述代码中CacheMinutes字段改成过期时间范围从。。。到。。。,然后key的过期时间从范围中取一个随机值。
当然这里讲到的解决方案也只是个人常用的,也可以使用其他解决方案。
6、最后,已经很久没更新博客了,是我太懒了,只想白p别人的文章。还是很敬佩哪些经常更新博客的大佬,首先文章要有技术点、然后还要考虑怎样将自己对技术点的想法、经验、理解表达出来,真的很不容易。然后就是文章有什么错误点或者可以改进的地方望指正。
.NetCore之接口缓存的更多相关文章
- netcore中的缓存介绍
Cache(缓存)是优化web应用的常用方法,缓存存放在服务端的内存中,被所有用户共享.由于Cache存放在服务器的内存中,所以用户获取缓存资源的速度远比从服务器硬盘中获取快,但是从资源占有的角度考虑 ...
- 接口缓存--把接口放在redis数据库中,减少访问量
针对访问量大,且数据较固定的接口,建议建立接口缓存,建立了缓存之后,不会再直接去访问接口了. 比如下面的轮播图接口,每刷新一下首页都会访问一下轮播图接口,所以我们用接口缓存来处理,减少访问量. 视图模 ...
- 在 WPF 客户端实现 AOP 和接口缓存
随着业务越来越复杂,最近决定把一些频繁查询但是数据不会怎么变更的接口做一下缓存,这种功能一般用 AOP 就能实现了,找了一下客户端又没现成的直接可以用,嗐,就只能自己开发了. 代理模式和AOP 理解代 ...
- asp.net mvc,基于aop实现的接口访问统计、接口缓存等
其实asp.net 上aop现有的框架应该蛮多的,比如静态注入式的PostSharp(新版本好像已经商业化了,旧版本又不支持.net4.0+),或者通过反射的(性能会降低). 本文则是通过mvc其中一 ...
- springboot 2.x整合redis,spring aop实现接口缓存
pox.xml: <dependency> <groupId>org.springframework.boot</groupId> <artifactId&g ...
- Nresource服务之接口缓存化
1. 背景 Nresource服务日均4.5亿流量,考虑到未来流量急增场景,我们打算对大流量接口进行缓存化处理:根据服务管理平台数据统计显示getUsableResoureCount接口调用量很大,接 ...
- Swift中对C语言接口缓存的使用以及数组、字符串转为指针类型的方法
由于Swift编程语言属于上层编程语言,而Swift中由于为了低层的高性能计算接口,所以往往需要C语言中的指针类型,由此,在Swift编程语言刚诞生的时候就有了UnsafePointer与Unsafe ...
- NetCore MemoryCache使用
引用类库 1.Install-Package Microsoft.Extensions.Caching.Memory MemoryCacheOptions 缓存配置 1.ExpirationScanF ...
- .NET CORE 中的缓存使用
Net Framewoke的缓存 1.1 System.Web.Caching System.Web.Caching应该是我们最熟悉的缓存类库了,做ASP.NET开发时用到缓存基本都是使用的这个缓存组 ...
随机推荐
- 关于初次使用Thymeleaf遇到的问题 2020-08-11
关于初次使用Thymeleaf遇到的问题 环境: IDEA :2020.1 Maven:3.5.6 SpringBoot: 2.3.2 原做法: 按照视频教程,导入依赖,并修改报的版本为3.0.9,适 ...
- 【特别篇】不为人知的U盘秘密
U盘是我们代码爱好者的必要东西,方便于我们更好的拷文件,使用一些已经配置好的东西,比如说:小编经常会将linux系统放进去,平时就可以随时用了. But 你的U盘真的正常吗?你了解多少? 关于U盘 ...
- OptaPlanner的新约束表达方式 Constraint Streams
有好些时间没有写过关于OptaPlanner的东西了,其实近半年来,OptaPlanner还是推出了不少有用.好用的新特性.包括本文讲到的以Stream接口实现评分编程.关于OptraPlanner的 ...
- Devops与敏捷二者能否结合?
当前软件行业的趋势倾向于使应用程序开发和部署成为业务运营的重要组成部分.这些公司开始专注于实现像DevOps解决方案这样的方法,这有助于缩短产品开发时间.使用DevOps进行开发减少了交付软件所需的阶 ...
- BIGI行情-实时行情数据源接口websocket接入方法
BIGI行情-实时行情数据源接口socket接入方法1.国际期货.国内期货.外汇.贵金属.现货.期权.股指.数字货币和A股实时行情和历史行情2.推送的有:socket,websocket,http接收 ...
- pytest「conftest、pytest参数化、重运行、出测试报告」
文章总览图 一.conftest问题整理: 1.这个conftest.py分路径吗?如果在TestCases下建这个包可以直接用吗? TestCases这里有ModeA和ModeB,想在ModeA或M ...
- 更改默认Xcode
更改默认 Xcode 的指令: sudo xcode-select -switch /Applications/Xcode.app 如果系统里面有好几个版本的 Xcode,可以用这个命令指定默认的 ...
- SLS案例中心
今日PV nginx日志查看今日的PV和昨日的对比,先通过count函数计算总的pv,再用compare函数得出今日的pv和昨日的同比. 通过单值图进行展示,显示值为20.381Mil,对比值为-2% ...
- Xposed+X5使用
1.Xposed 2.X5
- 阿里云体验实验室 教你《搭建Hadoop环境》
体验平台简介 面向开发者和中小企业打造的一站式.全云端的开发平台,打开浏览器就可以开发.调试.上线,所测即所得,并结合无服务器的模式,重新定义云原生时代的研发工作方法论.旨在降低开发者上手成本和中小企 ...