Elasticsearch 集群和索引健康状态及常见错误说明

之前在IDC机房线上环境部署了一套ELK日志集中分析系统, 这里简单总结下ELK中Elasticsearch健康状态相关问题, Elasticsearch的索引状态和集群状态传达着不同的意思. 一. Elasticsearch 集群健康状态一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片).但是不管集群扩展到多大规模,你都会想要一个快速获取集群状态的途径.Cluste…

Elasticsearch集群和索引常用命令

https://www.cnblogs.com/pilihaotian/p/5846173.html REST API用途 ES提供了很多全面的API,大致可以分成如下几种: 1 检查集群.节点.索引的健康情况 2 管理集群.节点,索引数据.元数据 3 执行CRUD,创建.读取.更新.删除以及查询 4 执行高级的查询操作,比如分页.排序.脚本.聚合等查看集群状态可以通过CURL命令发送REST命令,查询集群的健康状态: curl 'localhost:9200/_cat/health?v…

ES之四、Elasticsearch集群和索引常用命令

REST API用途 elasticsearch支持多种通讯,其中包括http请求响应服务,因此通过curl命令,可以发送http请求,并得到json返回内容. ES提供了很多全面的API,常用的REST请求大致可以分成如下几种: 1 检查集群.节点.索引的健康情况 2 管理集群.节点,索引数据.元数据 3 执行CRUD,创建.读取.更新.删除以及查询 4 执行高级的查询操作,比如分页.排序.脚本.聚合等 Query DSL Query DSL (资料来自: http://www.elast…

[译]使用explain API摆脱ElasticSearch集群RED苦恼（转）

"哔...哔...哗",PagerDuty的报警通知又来了. 可能是因为你又遭遇了节点宕机, 或者服务器机架不可用, 或者整个ElasticSearch集群重启了. 不管哪种情况, 当前集群的状态都成为了RED: 因为当前有些分片不可被指派(到某个节点), 从而导致部分数据不可用. 这种情况总会不期而至, 而你该怎么办!? 在ElasticSearch的早期版本中, 通常需要具有诸如爆破专家般的分析能力的人才能找到问题根源: 分片为何不可用!?. 你需要通过cluster state…

大规模Elasticsearch集群管理心得

转载:http://elasticsearch.cn/article/110 ElasticSearch目前在互联网公司主要用于两种应用场景,其一是用于构建业务的搜索功能模块且多是垂直领域的搜索,数据量级一般在千万至数十亿这个级别:其二用于大规模数据的实时OLAP,经典的如ELKStack,数据规模可能达到千亿或更多. 这两种场景的数据索引和应用访问模式上差异较大,在硬件选型和集群优化方面侧重点也会有所不同.一般来说后一种场景属于大数据范畴,数据量级和集群规模更大,在管理方面也更有挑战. 应Me…

elasticsearch 集群、节点、索引、分片、副本概念

原文链接: https://www.jianshu.com/p/297e13045605 集群(cluster): 由一个或多个节点组成, 并通过集群名称与其他集群进行区分节点(node): 单个 ElasticSearch 实例. 通常一个节点运行在一个隔离的容器或虚拟机中索引(index): 在 ES 中, 索引是一组文档的集合分片(shard): 因为 ES 是个分布式的搜索引擎, 所以索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片. ES自动管理和组织分片, 并在…

Elasticsearch 集群 - 健康检查

章节 Elasticsearch 基本概念 Elasticsearch 安装 Elasticsearch 使用集群 Elasticsearch 健康检查 Elasticsearch 列出索引 Elasticsearch 创建索引 Elasticsearch 创建和查询文档 Elasticsearch 删除索引 Elasticsearch 修改数据 Elasticsearch 更新文档 Elasticsearch 删除文档 Elasticsearch 批处理 Elasticsearch 搜索数据…

ElasticSearch 集群健康

1.介绍一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点——这些共同操作一千个索引(以及上万个分片). 不管集群扩展到多大规模,你都会想要一个快速获取集群状态的途径.Cluster Health API 充当的就是这个角色. 2.命令 GET _cluster/health 和 Elasticsearch 里其他 API 一样,cluster-health 会返回一个 JSON 响应.这对自动化和告警系统来说…

ES2：ElasticSearch 集群配置

ElasticSearch共有两个配置文件,都位于config目录下,分别是elasticsearch.yml和logging.yml,其中,elasticsearch.yml 用来配置ElasticSearch服务器.配置选项分为静态设置和动态设置两种.静态设置必须在结点级别(node-level)设置,或配置在elasticsearch.yml配置文件中,或配置在环境变量中,或配置在命令行中,在结点启动之后,静态设置不能修改.集群的名字和结点的名称:cluster.name 和 node.n…

Elasticsearch集群调优

系统调优禁用swap 使用swapoff命令可以暂时关闭swap.永久关闭需要编辑/etc/fstab,注释掉swap设备的挂载项. swapoff -a 如果完全关闭swap不可行,可以试着降低swap使用的优先级,执行 sysctl vm.swappiness = 1 并编辑/etc/sysctl.conf,加入swappiness设置. 如果因为一些原因,无法对swap进行操作,可以将ES配置中的memory_lock设置为true,从JVM层面保证内存数据交换到swap中. boots…

ElasticSearch 集群监控

要监控哪些 ElasticSearch metrics? Elasticsearch 提供了大量的 Metric,可以帮助您检测到问题的迹象,在遇到节点不可用.out-of-memory.long garbage collection times 的时候采取相应措施.但是指标太多了,有时我们并不需要这么多,这就需要我们进行筛选. 集群健康一个 Elasticsearch 集群至少包括一个节点和一个索引.或者它可能有一百个数据节点.三个单独的主节点,以及一小打客户端节点--这些共同操作一千个索…

Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)

一. ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. ElasticSearch不但包括了全文搜索功能,还可以进行以下工作:-> 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索.-> 实时分析的分布式搜索引擎.-> 可以扩展到上百…

ElasticSearch集群介绍二

ElasticSearch集群一个运行中的 Elasticsearch 实例称为一个节点,而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成, 它们共同承担数据和负载的压力.当有节点加入集群中或者从集群中移除节点时,集群将会重新平均分布所有的数据. 当一个节点被选举成为主节点时, 它将负责管理集群范围内的所有变更,例如增加.删除索引,或者增加.删除节点等. 而主节点并不需要涉及到文档级别的变更和搜索等操作,所以当集群只拥有一个主节点的情况下,即使流量的增加它也不会成…

实例展示elasticsearch集群生态,分片以及水平扩展.

elasticsearch用于构建高可用和可扩展的系统.扩展的方式可以是购买更好的服务器(纵向扩展)或者购买更多的服务器(横向扩展),Elasticsearch能从更强大的硬件中获得更好的性能,但是纵向扩展也有一定的局限性.真正的扩展应该是横向的,它通过增加节点来传播负载和增加可靠性.对于大多数数据库而言,横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备.对比来说,Elasticsearch天生是分布式的:它知道如何管理节点来提供高扩展和高可用.这意味着你的程序不需要关心这些.对于大…

ELK 性能(4) — 大规模 Elasticsearch 集群性能的最佳实践

ELK 性能(4) - 大规模 Elasticsearch 集群性能的最佳实践介绍集群规模集群数:6 整体集群规模: 300 Elasticsearch 实例 141 物理服务器 4200 CPU 核心 38TB RAM 1.5 Pb 存储索引日志: 100 亿/天 400k/秒内容开场白健康提示将 Elasticsearch 集群的名称 "elasticsearch" 进行重命名.当网络内有两个以上的集群时,就会发现这样做所带来的好处. 为了防止误删除,设置参数 ac…

Elasticsearch集群搭建及使用Java客户端对数据存储和查询

本次博文发两块,前部分是怎样搭建一个Elastic集群,后半部分是基于Java对数据进行写入和聚合统计. 一.Elastic集群搭建 1. 环境准备. 该集群环境基于VMware虚拟机.CentOS 7系统,公司目前用的服务器系统基本全是CentOS系统,因此就选了这个.Elasticsearch需要依赖的最低环境就是JDK8,且要配置好环境变量JAVA_HOME. Elasticsearch的安装也可以查看官网给出的安装说明. 虚拟机系统采用的是最小化安装,没有安装桌面程序.安装完程序再安装J…

升级 Elasticsearch 集群数量实战记录

搜索引擎升级 Elasticsearch 集群数量实战记录现在线上有一个elasticsearch集群搜索服务有三台elasticsearch实例(es1.es2.es3),打算将其升级为5台(增加es4.es5).这篇文章主要是对整个操作的过程记录,以及出现的问题总结,包括移动数据量所需要的时间.因为,一开始由于不知道线上数据量全部分配完需要多少时间,如果从凌晨开始操作,到早上8点都还没有同步完,这样会影响到白天线上业务的正常使用. 准备阶段线上es集群使用的是阿里云服务器,copy其中…

手把手教你搭建一个Elasticsearch集群

一.为何要搭建 Elasticsearch 集群凡事都要讲究个为什么.在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? (1)高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息.所以第一步我们需要保证的就是 Elasticsearch 的高可用性,什么是高可用性呢?它通常是指,通过设计减少系统不能提供服务的时间.假设系统一直能够提供服务,我们说系统的可用性是 100%.如果系统在某个时…

elasticsearch集群介绍及优化【转】

elasticsearch 集群的安装部署

一介绍 elasticsearch 是居于lucene的搜素引擎,可以横向集群扩展以及分片,开发者无需关注如何实现了索引的备份,集群同步,分片等,我们很容易通过简单的配置就可以启动elasticsearch集群,通过提供的基于rest的api实现数据存储以及索引.主要是搭建ELK分布式日志搜集平台以elasticsearch作为日志的存储来研究elasticsearch. 二参考 http://learnes.net/getting_started/installing_es.html …

Elasticsearch集群管理

第7章深入Elasticsearch集群启动一个Elasticsearch节点时,该节点会开始寻找具有相同集群名字并且可见的主节点.如果找到主节点,该节点加入一个已经组成了的集群:如果没有找到,该节点成为主节点(如果配置允许).形成集群和寻找节点的过程称为发现.负责发现的模块有两个主要目的:选出一个主节点和发现集群中的新节点.本节将讨论如何配置和优化发现模块. 7.1节点发现 7.1.1 发现的类型默认在没有安装额外插件的情况下,Elasticsearch允许使用zen发现,它提供了…

[Elasticsearch] 集群的工作原理 - 第一部分

本文翻译自Elasticsearch官方指南的life inside a cluster一章. ES就是为高可用和可扩展而生的. 扩展能够通过购置性能更强的server(垂直扩展或者向上扩展,Vertical Scale/Scaling Up),亦或是通过购置很多其它的server(水平扩展或者向外扩展,Horizontal Scale/Scaling Out)来完毕. 虽然ES可以利用更强劲的硬件.垂直扩展毕竟还是有它的极限.真正的可扩展性来自于水平扩展 - 通过向集群中加入很多其它的节点来分…