课程大纲

  • fielddata加载
  • fielddata内存限制
  • 监控fielddata内存使用
  • circuit breaker

一、fielddata加载

fielddata加载到内存的过程是lazy加载的，也就是说对一个analzyed field执行聚合时才会加载，不是在建立index时加载。而且是field-level加载的。也就是当一个聚合操作时，es只会加载这个index的聚合field，不是所有field都加载，但是所有doc都会被加载，而不是少数doc。

二、fielddata内存限制

在es下的config.yml文件中进行设置：indices.fielddata.cache.size: 20%，意思是加载的fielddata只能是内存总量的20%，超出这个限制，es会清除内存已有fielddata数据。es默认无限制。如果设置这个参数限制内存使用，就会导致频繁evict和reload，大量IO性能损耗，以及内存碎片和gc。不中以限制，会导致内存使用过高，影响其他程序的性能。

三、监控fielddata内存使用的方法

GET /_stats/fielddata?fields=*

GET /_nodes/stats/indices/fielddata?fields=*

GET /_nodes/stats/indices/fielddata?level=indices&fields=*

四、circuit breaker

如果一次query操作所要load的feilddata超过总内存，就会oom（内存溢出），严重的话会导致整个es程序挂掉。正因为有这种情况，所以es引入了circuit breaker机制，circuit breaker会估算本次query要加载的fielddata大小，如果超出总内存，就短路，query直接失败，这样就不会导致整个es挂掉。circuit breaker可以在config.yml中设置以下几个参数。

  • indices.breaker.fielddata.limit：fielddata的内存限制，默认60%
  • indices.breaker.request.limit：执行聚合的内存限制，默认40%
  • indices.breaker.total.limit：综合上面两个，默认限制在70%以内

55.fielddata内存控制以及circuit breaker断路器的更多相关文章

  1. [AOP] 7. 一些自定义的Aspect - Circuit Breaker

    Circuit Breaker(断路器)模式 关于断路器模式是在微服务架构/远程调用环境下经常被使用到的一个模式.它的作用一言以蔽之就是提高系统的可用性,在出现的问题通过服务降级的手段来保证系统的整体 ...

  2. Akka之Circuit Breaker

    这周在项目中遇到了一个错误,就是Circuit Breaker time out.以前没有接触过,因此学习了下akka的断路器. 一.为什么使用Circuit Breaker 断路器是为了防止分布式系 ...

  3. Circuit Breaker Pattern（断路器模式）

    Handle faults that may take a variable amount of time to rectify when connecting to a remote service ...

  4. Circuit Breaker模式

    Circuit Breaker模式会处理一些需要一定时间来重连远程服务和远端资源的错误.该模式可以提高一个应用的稳定性和弹性. 问题 在类似于云的分布式环境中,当一个应用需要执行一些访问远程资源或者是 ...

  5. 谈谈Circuit Breaker在.NET Core中的简单应用

    前言 由于微服务的盛行,不少公司都将原来细粒度比较大的服务拆分成多个小的服务,让每个小服务做好自己的事即可. 经过拆分之后,就避免不了服务之间的相互调用问题!如果调用没有处理好,就有可能造成整个系统的 ...

  6. .NET Core中Circuit Breaker

    谈谈Circuit Breaker在.NET Core中的简单应用 前言 由于微服务的盛行,不少公司都将原来细粒度比较大的服务拆分成多个小的服务,让每个小服务做好自己的事即可. 经过拆分之后,就避免不 ...

  7. 《深入浅出Node.js》第5章 内存控制（未完）

    @by Ruth92(转载请注明出处) 第5章 内存控制 基于无阻塞.事件驱动建立的 Node 服务,具有内存消耗低的优点,非常适合处理海量的网络请求. 内存控制正是在海量请求和长时间运行的前提下进行 ...

  8. 《疯狂Java：突破程序员基本功的16课》读书笔记-第二章 对象与内存控制

    Java内存管理分为两个方面:内存分配和内存回收.这里的内存分配特指创建Java对象时JVM为该对象在堆内存中所分配的内存空间.内存回收指的是当该Java对象失去引用,变成垃圾时,JVM的垃圾回收机制 ...

  9. Circuit Breaker Features

    Better to use a circuit breaker which supports the following set of features: Automatically time-out ...

随机推荐

  1. oracle-扫盲贴：存储过程实现增删改查

    原文引入:http://blog.csdn.net/yangzhawen/article/details/8617179 oracle-扫盲贴:存储过程实现增删改查 分类: oracle2013-02 ...

  2. JFreeChart简单用法

    需要用到的包 jfreechart-0.9.20.jar,jcommon-0.9.5.jar 创建一般步骤: 1.生成org.jfree.data.DefaultCategoryDataset对象,方 ...

  3. easyui图标对照

    转自:https://blog.csdn.net/qq_34545192/article/details/78250816 原作者文章地址: http://www.cnblogs.com/timeme ...

  4. tar zxvf 解压文件提示错误

    1.tar -zxvf 提示错误 2. 查看文件之后发现是html格式的.file **(文件名) 3.原来是直接之前sudo wget url ...url连接错误了. 这个url直接在jdk哪里, ...

  5. bzoj 2730: [HNOI2012]矿场搭建【tarjan】

    先tarjan找割点和点双连通分量,然后对一个点双,如果没有割点,那么需要建立两个出口(割掉一个另一个备用):如果只有一个割点,出口可以设立在任意一个非割点的地方:如果有两个及以上个割点,就不用建出口 ...

  6. 10.11 NOIP模拟题(1)

    /* 离散化 差分 */ #include<bits/stdc++.h> #define N 4000007 using namespace std; int n,ans; int tmp ...

  7. P4451 [国家集训队]整数的lqp拆分

    #include <bits/stdc++.h> using namespace std; typedef long long LL; inline LL read () { LL res ...

  8. mysql5.7 1055

    错误提示: [Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggreg ...

  9. 2017杭电多校第七场1011Kolakoski

    Kolakoski Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 524288/524288 K (Java/Others) Tota ...

  10. ToolBar教程：AppCompatActivity下用toolbar当actionbar用

    参考: https://developer.android.com/training/appbar/index.html 1,自定义toolbar主题 2,在布局xml中使用toolbar 3,在代码 ...