51.percentiles rank以及网站访问时延SLA统计

主要知识点：

• percentile_ranks的用法
• percentile的优化

 
 

一、percentile_ranks的用法

SLA：就是所提供的服务的标准。
比如一个网站的提供的访问延时的SLA，确保所有的请求100%都必须在200ms以内，在大公司内一般都是要求100%在200ms以内，如果超过1s，则需要升级到A级故障，代表网站的访问性能和用户体验急剧下降。

现有一个需求：在200ms以内的有百分之多少，在1000毫秒以内的有百分之多少，对于这个需求就要用到percentile ranks metric这个方法，这个percentile ranks，在实际工作中比pencentile还要常用。他可以统计电商系统中按照品牌分组，计算，电视机，售价在1000元的占比，在2000以内的占比，3000占元以内的占比等等。

 
 

语法如下：

 
 

GET /website/logs/_search

{

"size": 0,

"aggs": {

"group_by_province": {

"terms": {"field": "province"},

"aggs": {

"latency_percentile_ranks": {

"percentile_ranks": {"field": "latency","values": [200,1000]}

}

}

}

}

}

 
 

执行结果如下：

"aggregations": {

"group_by_province": {

"doc_count_error_upper_bound": 0,

"sum_other_doc_count": 0,

"buckets": [

{

"key": "新疆",

"doc_count": 6,

"latency_percentile_ranks": {

"values": {

"200.0": 29.40613026819923,

"1000.0": 100

}

}

},

{

"key": "江苏",

"doc_count": 6,

"latency_percentile_ranks": {

"values": {

"200.0": 100,

"1000.0": 100

}

}

}

]

}

}

}

 
 

二、percentile的优化

 
 

percentile_ranks在es底层用的是TDigest算法，他会用很多节点来执行百分比的近似估计计算，当然也会有误差，但是所用到的节点越多越精准。

compression参数就是用来限制节点数量，默认compression的值是100，也就是compression * 20 = 2000个node去参与计算，compression越大，占用内存越多，越精准，性能越差

一个节点占大约占用32字节，100 * 20 * 32 = 64KB。如果你想要percentile算法越精准，compression可以设置的越大