55.fielddata内存控制以及circuit breaker断路器

课程大纲

• fielddata加载
• fielddata内存限制
• 监控fielddata内存使用
• circuit breaker

一、fielddata加载

fielddata加载到内存的过程是lazy加载的，也就是说对一个analzyed field执行聚合时才会加载，不是在建立index时加载。而且是field-level加载的。也就是当一个聚合操作时，es只会加载这个index的聚合field，不是所有field都加载，但是所有doc都会被加载，而不是少数doc。

二、fielddata内存限制

在es下的config.yml文件中进行设置：indices.fielddata.cache.size: 20%，意思是加载的fielddata只能是内存总量的20%，超出这个限制，es会清除内存已有fielddata数据。es默认无限制。如果设置这个参数限制内存使用，就会导致频繁evict和reload，大量IO性能损耗，以及内存碎片和gc。不中以限制，会导致内存使用过高，影响其他程序的性能。

三、监控fielddata内存使用的方法

GET /_stats/fielddata?fields=*

GET /_nodes/stats/indices/fielddata?fields=*

GET /_nodes/stats/indices/fielddata?level=indices&fields=*

四、circuit breaker

如果一次query操作所要load的feilddata超过总内存，就会oom（内存溢出），严重的话会导致整个es程序挂掉。正因为有这种情况，所以es引入了circuit breaker机制，circuit breaker会估算本次query要加载的fielddata大小，如果超出总内存，就短路，query直接失败，这样就不会导致整个es挂掉。circuit breaker可以在config.yml中设置以下几个参数。

• indices.breaker.fielddata.limit：fielddata的内存限制，默认60%
• indices.breaker.request.limit：执行聚合的内存限制，默认40%
• indices.breaker.total.limit：综合上面两个，默认限制在70%以内