前言   JDK中为了处理线程之间的同步问题,除了提供锁机制之外,还提供了几个非常有用的并发工具类:CountDownLatch.CyclicBarrier.Semphore.Exchanger.Phaser:   CountDownLatch.CyclicBarrier.Semphore.Phaser 这四个工具类提供一种并发流程的控制手段:而Exchanger工具类则提供了在线程之间交换数据的一种手段. 简介   Semaphore(信号量)是用来控制同时访问特定资源的线程数量,它通过协调各…

前情提要: 最近elasticsearch集群总出问题,之前虽然修复了,现在又出现新的问题,于是PM要求拉取elasticsearch每天建立的索引有多少,索引有多大,需要对机器进行评估 客户现场无法接触到elasticsearch集群(生产环境,客户方不许可),通过dashboard开启一个pod(资源有限,无法流畅的操作),只好另寻妖路,从dashboard操作获取索引信息,再将文件传输到本机 下面,我要开始装13了(我是菜13,狗头保命) # curl -XGET "localhostIp…

PUT my_index/_settings?preserve_existing=true{ "max_result_window": "2000000000"}…

探究ElasticSearch中的线程池实现 ElasticSearch里面各种操作都是基于线程池+回调实现的,所以这篇文章记录一下java.util.concurrent涉及线程池实现和ElasticSearch中如何自定义自己的线程池的.因为我们自己开发写代码,也经常会用到线程池,一般很少有机会自己去扩充实现一个自己的线程池,比如下面是我经常用的套路,其中SidSearchExceptionHandler和SidSearchRejectExecutionHandler都只是简单地记录日志.…

Elasticsearch源码分析—线程池(十一) 转自:https://www.felayman.com/articles/2017/11/10/1510291570687.html 线程池 每个节点都有一些线程池来优化线程内存的消耗,按节点来配置管理.有些线程池还拥有与之关联的队列配置,用来允许挂住一些未处理的请求,而不是丢弃它. Elasticsearch对线程池的处理的源码在org.elasticsearch.node.Node中,核心代码为: final ThreadPool thre…

ElasticSearch 线程池类型分析之SizeBlockingQueue 尽管前面写好几篇ES线程池分析的文章(见文末参考链接),但都不太满意.但从ES的线程池中了解到了不少JAVA线程池的使用技巧,于是忍不住再写一篇(ES6.3.2版本的源码).文中给出的每个代码片断,都标明了这些代码是来自哪个类的哪个方法. ElasticSearch里面一共有四种类型的线程池,源码:ThreadPool.ThreadPoolType DIRECT("direct"), FIXED("…

package com; import java.util.concurrent.Semaphore; /** * Created by yangyu on 16/11/28. */ /** * Semaphore控制并发线程数量 * * 使用场景: * 当大批量的并发请求来到系统当中时,为了保证系统稳定,真正执行业务逻辑的线程其实数量有限: * 为了保证业务系统的稳定,不会被峰值请求给击垮,那么应该对执行业务逻辑的线程进行并发控制: * 而Semaphore就可以用于控制并发线程数量 */ p…

elasticsearch 配置 线程池  一个Elasticsearch节点会有多个线程池,但重要的是下面四个:  索引(index):主要是索引数据和删除数据操作(默认是cached类型)  搜索(search):主要是获取,统计和搜索操作(默认是cached类型)  批量操作(bulk):主要是对索引的批量操作(默认是cached类型)  更新(refresh):主要是更新操作(默认是cached类型)  可以通过给设置一个参数来改变线程池的类型(type),例如,把索引的线程池改成blo…

如果是IO密集型应用,则线程池大小设置为2N+1: 如果是CPU密集型应用,则线程池大小设置为N+1: N代表CPU的核数. 假设我的服务器是4核的,且一般进行大数据运算,cpu消耗较大,那么线程池数量设置为5为最优. (现在很多项目线程池滥用,注意分配线程数量,建议不要动态创建线程池,尽量将线程池配置在配置文件中,这样方便以后整体的把控和后期维护.每个核心业务线程池要互相独立,互不影响.) 例子(spring): <bean class="org.springframework.sche…

记录一些自己在Elasticsearch开发过程的琐碎知识点 1.使用ScriptFields时,需在yml配置文件中添加配置(script.disable_dynamic: false)开启动态脚本支持,好像是从某个版本以上才需要,反正我用的1.5.2是需要这个配置的. 2.创建索引时,适当调整mapping设置,提高索引效率,如关闭副本,创建完索引后重新设置副本数量即可:NumberOfReplicas(0) 3.创建索引时,批量提交数据,可以大大提高索引效率,如:BulkIndexOper…