ASP.NET Core中如何对不同类型的用户进行区别限流
老板提出了一个新需求,从某某天起,免费用户每天只能查询100次,收费用户100W次。
这是一个限流问题,聪明的你也一定想到了如何去做:记录用户每一天的查询次数,然后根据当前用户的类型使用不同的数字做比较,超过指定的数字就返回错误。
嗯,原理就是这么简单。不过真正写起来还要考虑更多问题:
- 统计数据的数据结构是什么样的?字典 or 行记录?
- 统计数据记录到哪里?内存 or MySQL or Redis?
- 分布式应用怎么精确计数?分布式锁 or 队列 or 事务?
- 吞吐量比较大时如何扛得住?内存 or Redis or 数据库集群?
- 这些数据要一直保留吗?自动过期 or 定期清理?
- 如何返回错误?自定义错误 or HTTP标准错误码?
自己去做这些事还是有点麻烦的,这里介绍一个ASP.NET Core的中间件来满足这个限流需求:FireflySoft.RateLimit.AspNetCore。使用步骤如下:
1、安装Nuget包
已经发布到nuget.org,有多种安装方式,选择自己喜欢的就行了。
包管理器命令:
Install-Package FireflySoft.RateLimit.AspNetCore
或者.NET命令:
dotnet add package FireflySoft.RateLimit.AspNetCore
或者项目文件直接添加:
<ItemGroup>
<PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="1.2.0" />
</ItemGroup>
2、使用中间件
在Startup.Configure中使用中间件,演示代码如下(下边会有详细说明):
public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
... app.UseRateLimit(new RateLimitProcessor<HttpContext>.Builder()
.WithAlgorithm(new FixedWindowAlgorithm<HttpContext>( new[] {
new FixedWindowRateLimitRule<HttpContext>()
{
Id = "1",
ExtractTarget = context =>
{
// 这里假设用户Id是从cookie中传过来的,需根据实际情况获取
return context.Request.GetTypedHeaders().Get<string>("userId");
},
CheckRuleMatching = context =>
{
// 这里假设用户类型是从cookie中传过来的,实际可能需要根据用户Id再去查询
// 0免费用户 1收费用户
int userType = context.Request.GetTypedHeaders().Get<int>("userType");
if(userType==0){
return true;
}
return false;
},
Name="免费用户限流规则",
LimitNumber=30,
StatWindow=TimeSpan.FromDays(1)
},
new FixedWindowRateLimitRule<HttpContext>()
{
Id = "2",
ExtractTarget = context =>
{
// 这里假设用户Id是从cookie中传过来的,需根据实际情况获取
return context.Request.GetTypedHeaders().Get<string>("userId");
},
CheckRuleMatching = context =>
{
// 这里假设用户类型是从cookie中传过来的,实际可能需要根据用户Id再去查询
// 0免费用户 1收费用户
int userType = context.Request.GetTypedHeaders().Get<int>("userType");
if(userType==1){
return true;
}
return false;
},
Name="收费用户限流规则",
LimitNumber=1000000,
StatWindow=TimeSpan.FromDays(1)
}
}))
.WithError(new Core.RateLimitError()
{
Code=429,
Message = "查询数达到当天最大限制"
})
//.WithStorage(new RedisStorage(StackExchange.Redis.ConnectionMultiplexer.Connect("localhost")))
.Build()); ...
}
使用此中间件需要构建一个名为RateLimitProcessor的限流处理器实例,指定限流处理的请求类型HttpContext,设置限流处理的三个方面:
限流使用的算法以及对应的规则
限流算法,根据这个需求使用固定窗口算法就可以了,也称为计数器算法。此中间件还提供了滑动窗口算法、漏桶算法、令牌桶算法,可以根据需要选择。
不同的限流算法有不同的限流规则类型,在这里使用的是固定窗口限流规则,针对免费用户和收费用户分别定义了两个规则,注意其中的几个参数:
- Id:在当前的版本中Id必须手动指定,并且不能重复。
- ExtractTarget:传递一个方法用于从请求中提取限流目标,这里就是用户Id。
- CheckRuleMatching传递一个方法用于检查当前请求是否适用当前规则,这里根据用户类型进行判断。
- StatWindow是固定窗口的大小,是一个时间跨度,这里是1天。
- LimitNumber是限流值,在StatWindow时间内请求数超过它就会触发限流。
这里有两个比较有意思的设置:ExtractTarget和CheckRuleMatching,他们共同作用,让用户可以完全自由的定制自己限流的目标和条件,无论是IP、ClientId或者Url。
限流统计数据的持久化方式
FireflySoft.RateLimit中的限流计数目前支持保存在内存或者Redis中,也可以通过实现IRateLimitStorage来定义一个新的存储器,不设置时默认为内存存储。
对于只需要部署一份的程序,绝大部分情况下使用内存就够了;但是如果限流的时间窗口比较长,比如1小时限制300次,重启就会丢失计数,这可能是个风险,此时使用Redis会比较合适。对于分布式应用,也建议使用Redis存储。
限流统计数据会根据限流时间窗口自动过期移除。
被限流时的错误码和消息
默认限流错误Code是429,这个会作为HttpStatusCode返回;Message默认为null,你可以修改为自己的任意文字提示,这个会作为Http Body的内容返回。
以上就是使用FireflySoft.RateLimit.AspNetCore对不同类型的用户进行区别限流的使用方法。
如果觉得还是限制的有点死,比如返回错误信息部分,想返回一个json格式的错误消息,还可以使用FireflySoft.RateLimit.Core这个包来封装自己的ASP.NET Core中间件。
如果想在这个程序的基础上再改造下,可以fork这个项目:https://github.com/bosima/FireflySoft.RateLimit
ASP.NET Core中如何对不同类型的用户进行区别限流的更多相关文章
- [.NET Core]ASP.NET Core中如何解决接收表单时的不支持的媒体类型(HTTP 415 Unsupported Media Type)错误呢?
[.NET Core]ASP.NET Core中如何解决接收表单时的不支持的媒体类型(HTTP 415 Unsupported Media Type)错误呢? 在ASP.NET Core应用程序中,接 ...
- ASP.NET Core 中的那些认证中间件及一些重要知识点
前言 在读这篇文章之间,建议先看一下我的 ASP.NET Core 之 Identity 入门系列(一,二,三)奠定一下基础. 有关于 Authentication 的知识太广,所以本篇介绍几个在 A ...
- ASP.NET Core中的依赖注入(1):控制反转(IoC)
ASP.NET Core在启动以及后续针对每个请求的处理过程中的各个环节都需要相应的组件提供相应的服务,为了方便对这些组件进行定制,ASP.NET通过定义接口的方式对它们进行了"标准化&qu ...
- ASP.NET Core中的依赖注入(2):依赖注入(DI)
IoC主要体现了这样一种设计思想:通过将一组通用流程的控制从应用转移到框架之中以实现对流程的复用,同时采用"好莱坞原则"是应用程序以被动的方式实现对流程的定制.我们可以采用若干设计 ...
- ASP.NET Core中的依赖注入(3): 服务的注册与提供
在采用了依赖注入的应用中,我们总是直接利用DI容器直接获取所需的服务实例,换句话说,DI容器起到了一个服务提供者的角色,它能够根据我们提供的服务描述信息提供一个可用的服务对象.ASP.NET Core ...
- ASP.NET Core中的依赖注入(4): 构造函数的选择与服务生命周期管理
ServiceProvider最终提供的服务实例都是根据对应的ServiceDescriptor创建的,对于一个具体的ServiceDescriptor对象来说,如果它的ImplementationI ...
- ASP.NET Core 中文文档 第二章 指南(4.6)Controller 方法与视图
原文:Controller methods and views 作者:Rick Anderson 翻译:谢炀(Kiler) 校对:孟帅洋(书缘) .张仁建(第二年.夏) .许登洋(Seay) .姚阿勇 ...
- ASP.NET Core 中文文档 第三章 原理(6)全球化与本地化
原文:Globalization and localization 作者:Rick Anderson.Damien Bowden.Bart Calixto.Nadeem Afana 翻译:谢炀(Kil ...
- ASP.NET Core 中文文档 第三章 原理(13)管理应用程序状态
原文:Managing Application State 作者:Steve Smith 翻译:姚阿勇(Dr.Yao) 校对:高嵩 在 ASP.NET Core 中,有多种途径可以对应用程序的状态进行 ...
随机推荐
- python join()方法的使用,可以应用到tcp压测发送指定数据长度的应用
Python join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串.其中,序列中的元素应是字符串类型. 学习join()方法主要是为了配合随机数的使用,生产某个指定位数的随机数,在t ...
- js异步、事件循环(EventLoop)小结
单线程 众所周知,JS是单线程的语言,之所以是单线程,用一句烂大街的话就是,如果两个线程同时操作一个DOM节点,那么该以哪个为准呢,虽然多线程也有办法解决,但是js毕竟是浏览器脚本语言,不需要那么复杂 ...
- 输入DStream之基础数据源以及基于HDFS的实时wordcount程序
输入DStream之基础数据源以及基于HDFS的实时wordcount程序 一.Java方式 二.Scala方式 基于HDFS文件的实时计算,其实就是,监控一个HDFS目录,只要其中有新文件出现,就实 ...
- Linux 下mv和cp命令
注意事项:mv与cp的结果不同,mv好像文件"搬家",文件个数并未增加.而cp对文件进行复制,文件个数增加了. 一.cp命令 cp命令用来将一个或多个源文件或者目录复制到指定的目的 ...
- A - 规律题
我们看到过很多直线分割平面的题目,今天的这个题目稍微有些变化,我们要求的是n条折线分割平面的最大数目.比如,一条折线可以将平面分成两部分,两条折线最多可以将平面分成7部分,具体如下所示. Input输 ...
- 2019 沈阳网络赛 D Fish eating fruit ( 树形DP)
题目传送门 题意:求一颗树中所有点对(a,b)的路径长度,路径长度按照模3之后的值进行分类,最后分别求每一类的和 分析:树形DP \(dp[i][j]\) 表示以 i 为根的子树中,所有子节点到 i ...
- Educational Codeforces Round 90 (Rated for Div. 2) B. 01 Game(字符串博弈)
题目链接:https://codeforces.com/contest/1373/problem/B 题意 给出一个二进制串 $s$,Alica 和 Bob 每次可以选择移去 $s$ 中的一个 $10 ...
- Equal Numbers Gym - 101612E 思维
题意: 给你n个数vi,你有k次操作.每一次操作你可以从n个数里面挑一个数,然后使得这个数乘于一个正整数.操作完之后,这n个数里面不同数的数量就是权值.你要使得这个值尽可能小. 题解: 如果a%b== ...
- poj 1696 极角排序(解题报告)
#include<iostream> #include<cmath> #include<algorithm> using namespace std; double ...
- Codeforces Round #649 (Div. 2) B. Most socially-distanced subsequence (数学,差分)
题意:有一长度为\(n\)的数组,求一子序列,要求子序列中两两差的绝对值最大,并且子序列尽可能短. 题解:将数组看成坐标轴上的点,其实就是求每个单调区间的端点,用差分数组来判断单调性. 代码: #in ...