[学习]sentinel中的DatatSource(二) WritableDataSource

sentinel是今年阿里开源的高可用防护的流量管理框架。

git地址：https://github.com/alibaba/Sentinel

wiki：https://github.com/alibaba/Sentinel/wiki

FAQ：https://github.com/alibaba/Sentinel/wiki/FAQ

--------------------------------------------------------------------------------------------------------------------------------------------------------

[学习]sentinel中的DatatSource(一) ReadableDataSource

在上一篇中学习了sentinel中的ReadableDataSource，本篇来学习和梳理下WritableDataSource。

--------------------------------------------------------------------------------------------------------------------------------------------------------

WritableDataSource顾名思义，是可写的数据源，在sentinel-datasource-extension模块下，com.alibaba.csp.sentinel.datasource包：

接口有两个方法：

write是将数据写到数据源中，进行保存；

close是关闭datasource相关的资源。

该包下提供了一个实现类，FileWritableDataSource，使用文件作为数据源。

先看属性，定义了

configEncoder用于将T类型转换为String类型；

file用于确定数据源文件；

charset字符集用于区分编码格式，默认是UTF-8；

lock用户写文件时加锁，避免并发写问题；

接着是构造函数，可以看到提供了3种重载来方便构造；

在最后实际调用的构造函数中，首先验证了参数合法性，包括：文件非空、不是目录、转换器和字符集非空；然后将参数保存在类的属性中；

最后是实现WritableDataSource接口的两个方法：

write方法首先通过lock加锁，调用转换器configEncoder的convert方法将T类型转换为String，再调用java io将String写入文件，最后释放锁；

close方法中，因没有释放的资源，不作任何处理。

在IDEA里，按住Ctrl键，点击FileWritableDataSource<T>类名，发现FileDataSourceInit类用到了它

该类位于sentinel-demo模块下的sentinel-demo-dynamic-file-rule，是一个FileDatasource的demo演示：

我们看到FileDataSourceInit实现了InitFunc接口，这是Sentinel 的 InitFunc SPI 扩展接口。

参考：https://github.com/alibaba/Sentinel/wiki/动态规则扩展

看代码中如何构造FileWritableDataSource的：

flowRulePath是流控规则文件的路径；

encodeJson是前文提到的转换器，这里用了jdk1.8双冒号的语法，使用用fastjson提供的静态方法JSON.toJSONString将List<Rule>转换为String；

注意到，构造好WritableDataSource后，用WritableDataSourceRegistry.registerFlowDataSource(wds)进行了注册；

WritableDataSourceRegistry类位于sentinel-transport-common模块里，里面保存了flow、degrade、system、authority四种规则的WritableDataSource，并提供了注册(register)和获取(get)的静态方法;

同样可以使用刚才Ctrl+左键的方式继续跟下去，找到它的调用。限于篇幅就暂不展开了。有兴趣的读者可以试试。

WritableDataSource用于写规则数据至数据源，跟sentinel-dashborad结合使用。

以流控规则为例，数据流转大致如下：

1. 在sentinel-dashboard界面中新增、修改、删除流控规则

2.dashborad中FlowController接收前端界面请求，先调用InMemFlowRuleStore的repository将内存中的数据更新，然后用SentinelApiClient通过http请求的方式与sentinel客户端(接入sentinel的应用)进行交互

http://ip:port/setRulesPath?type=flowRuleType&data=xxx

3.sentinel客户端的ModifyRulesCommandHandler处理请求，通过FlowRuleManager.loadRules(flowRules)重新加载规则，再调用已注册的WritableDataSource的write方法，将规则数据写至数据源

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------

我们来看看FileDataSource的demo。

FileDataSourceDemo类listenRules方法，构造了3种规则的FileRefreshableDataSource。

FlowQpsRunner类中的资源名称为"abc"，

在FlowRule.json文件中有一条该资源的流控规则：

可以看到是controlBehavior=0默认快速失败方式，grade=1的QPS方法，count=20.0。 该规则表示超过20QPS/秒进行快速失败限流。

运行FileDataSourceDemo类的main方法：

可以看到，通过的qps大致在20左右。

前文提到FileWritableDataSource在FileDataSourceInit类中构造。demo中使用了FileRefreshableDataSource读取规则。

我们来把FileWritableDataSource用起来试试。

参考官方文档，在demo工程的resources目录下，增加META-INF/services目录结构，增加com.alibaba.csp.sentinel.init.InitFunc文件 // 可以从sentinel-transport-simple-http模块中的resources目录拷贝

文件内容为com.alibaba.csp.sentinel.demo.file.rule.FileDataSourceInit

因FileDataSourceInit中已经有ReadableDataSource和WritableDataSource构造了，因此我们将FileDataSourceDemo中加载规则的代码注释掉；

增加启动参数-Dproject.name=FileDataSourceDemo -Dcsp.sentinel.dashboard.server=localhost:8080；

把dashboard先启起来；

demo中的FlowQpsRunner类，运行是100秒，为了有更充裕的时间观察、debug而程序不退出，我们把它改大一点：

FileDataSourceInit加载的文件路径是用户目录下的/sentinel/rules/flowRule.json

因此我们把目录结构按此建好，拷贝resources下的FlowRule.json文件过去

然后运行FileDataSourceDemo，启动后观察console输出：

由于FlowRule.json文件中abc资源的count=20，可以看到pass的qps在20左右；

浏览器打开控制台http://localhost:8080，在机器列表菜单下，可以看到应用已经在列表中显示

点击流控规则，

可以看到资源abc的规则阈值设置为20，点击编辑把阈值改成5，点保存；

再观察console的输出：

pass的qps已经从20，降到了5左右；

打开用户目录下的/sentinel/rules/flowRule.json文件，可以看到json中的abc资源的count已变成了5；

由此可见，FileWritableDataSource是生效了的；

并且这种方式结合控制台可以很方便的在界面配置规则，并持久化到文件。

打开用户目录/logs/csp中的最近修改的record.log.pidxxxx文件：

2018-09-13 13:13:25 [FlowRuleManager] Flow rules received: {abc1=[FlowRule{resource=abc1, limitApp=default, grade=1, count=20.0, strategy=0, refResource=null, controlBehavior=0, warmUpPeriodSec=10, maxQueueingTimeMs=500, controller=com.alibaba.csp.sentinel.slots.block.flow.controller.DefaultController@301ad2}], abc=[FlowRule{resource=abc, limitApp=default, grade=1, count=5.0, strategy=0, refResource=null, controlBehavior=0, warmUpPeriodSec=10, maxQueueingTimeMs=500, controller=com.alibaba.csp.sentinel.slots.block.flow.controller.DefaultController@150daa0}]}
2018-09-13 13:13:25 [FileWritableDataSource] Writing to file C:\Users\five\sentinel\rules\flowRule.json: [{"controlBehavior":0,"count":20.0,"grade":1,"limitApp":"default","maxQueueingTimeMs":500,"resource":"abc1","strategy":0,"warmUpPeriodSec":10},{"controlBehavior":0,"count":5.0,"grade":1,"limitApp":"default","maxQueueingTimeMs":500,"resource":"abc","strategy":0,"warmUpPeriodSec":10}]

看到修改的规则已被FlowRuleManager重新加载，并且通过FileWritableDataSource写至到了flowRule.json文件:)

--------------------------------------------------------------------------------------------------------------------------------------------------------

总结：

1. WritableDataSource提供了我们将sentinel内存中规则写回数据源的接口，控制台编辑规则时，除了通过http方式更新sentinel客户端的规则，还会调用WritableDataSourceRegistry注册的WritableDataSource的write方法;

2. 如Jdbc数据库、File文件等可写入的数据源，实现定制的WritableDataSource接口，可以方便我们配合控制台界面来配置规则；

3. 不同类型的数据源，根据Pull、Push模式，对控制台、ReadableDataSource、WritableDataSource可根据需要进行不同的定制扩展。

--------------------------------------------------------------------------------------------------------------------------------------------------------

思考：

1.WritableDataSource的write默认是全量更新数据，单个应用规则多时可能有性能问题，考虑如何区分出有变动的增量规则，将增量数据写入数据源；

2.sentinel的控制台界面，规则是按应用、ip、端口来单独配置的，设计持久化结构时需要考虑。

--------------------------------------------------------------------------------------------------------------------------------------------------------

参考：

https://github.com/alibaba/Sentinel/wiki/动态规则扩展

https://github.com/alibaba/Sentinel/wiki/控制台