节点发现

启动一个Elasticsearch节点时,该节点会开始寻找具有相同集群名字并且可见的主节点。如果找到主节点,该节点加入一个已经组成了的集群;如果没有找到,该节点成为主节点(如果配置允许)。形成集群和寻找节点的过程称为发现
发现模块有两个目的:

  • 选出一个主节点
  • 发现集群中的新节点

发现的类型

默认没有安装额外插件的情况下,Elasticsearch允许使用Zen发现,它提供了多播和单播发现。

选择多播还是单播,首先需要确定网络是够处理多播消息。如果可以,使用多播更简单。如果不能处理多播,使用单播发现。单播发现更加安全:不想任何节点误加入你的集群中。

主节点

主节点检查所有其他节点,看它们是否有响应(其他节点也ping主节点)。主节点还将接受加入集群的新节点。如果主节点断开连接了,其余节点将从中选择一个新的主节点,这些过程都是基于配置自动完成的。

配置主节点和数据节点

默认情况下,Elasticsearch允许节点同时成为主节点和数据节点。

主节点的选取的配置

如果一个多节点的集群因为某些原因有几个节点断开了,这样剩下的两簇节点会形成两个具有相同名字的集群。这称为脑裂

为了防止脑裂发生,Elasticsearch提供了discovery.zen.minimum_master_nodes属性。定义了形成一个集群,有主节点资格并互相连接的节点的最小数目。

设置集群名

一般情况下建议设置集群的名字。

配置多播

多播是zen发现的默认方法。

  • discovery.zen.ping.multicast.group:用于多播请求的群组地址,默认是224.2.2.4
  • discovery.zen.ping.multicast.port:多播通信的端口号,默认54328
  • discovery.zen.ping.multicast.ttl:多播被认为有效的时间,默认3s
  • discovery.zen.ping.multicast.address:Elasticseach应该绑定的地址。默认是null,意味着elasticsearch将尝试绑定到系统可见的所有网络接口。

要禁用多播,在elasticsearch.yml文件中添加discovery.zen.ping.multicast.enabled属性为false。

配置单播

因为单播的工作方式,需要指定至少一个接收单播消息的主机。为此,在elasticsearch.yml文件中添加discovery.zen.ping.unicast.hosts属性。该属性指定了所有形成集群的主机。指定的主机中保证最少有一个工作。

也可以定义一个Elasticsearch可以使用的端口范围:

主机之间用逗号隔开,并指定预计用于单播消息的端口。

节点的ping设置

主节点和集群中的其他节点会互相ping。可以设置的属性如下:

这些值可以根据实际网络状况进行调节。

时光之门与恢复模块

除了索引和索引里面的数据,Elasticsearch还需要保存类型映射和索引级别的设置等元数据。此信息需要被持久化到别处,以便集群恢复事读取。

时光之门可以当做一个集群数据和元数据的安全避风港。每次启动集群,所有所需数据从时光之门读取,更改集群,使用时光之门模块保存。

时光之门

时光之门有多个类型,不过目前除了local类型,其他已经废弃,需要在elasticsearch.yml文件中添加gateway.type属性,值为local。local类型的写操作不是异步的。所以每当写操作完成,都可以确保数据已经被写入gateway(即它被索引或存储在事务日志中)。

恢复控制

除了选择时光之门类型外,Elasticsearch允许配置何时启动最初的恢复过程。恢复是初始化所有分片和副本的过程,从事务日志中读取所有数据,并应用到分片上。

假设有一个10个Elasticsearch节点组成的集群。应该通知Elasticsearch节点数目,设置gataway.expected_nodes属性为10。当集群中节点数据等于10时,Elasticsearch将立刻开始恢复过程。

也可以在8个节点之后开始恢复,设置gateway.recover_after_nodes属性为8。可以将它设置为任何我们想要的值,但应该把它设置为一个值以确保集群状态快照的最新版本可用,一般在大多数节点可用时开始恢复。

我们希望gateway在集群形成后的10分钟以后开始恢复,设置gateway.recover_after_time属性为10m。在gateway.recover_after_nodes属性指定数目的节点形成集群后,需要等待多长时间再开始恢复。

额外的gateway恢复选项

Elasticsearch--集群&时光之门和恢复控制的更多相关文章

  1. Elasticsearch集群 管理

    第7章 深入Elasticsearch集群 启动一个Elasticsearch节点时,该节点会开始寻找具有相同集群名字并且可见的主节点.如 果找到主节点,该节点加入一个已经组成了的集群:如果没有找到, ...

  2. 我的ElasticSearch集群部署总结--大数据搜索引擎你不得不知

    摘要:世上有三类书籍:1.介绍知识,2.阐述理论,3.工具书:世间也存在两类知识:1.技术,2.思想.以下是我在部署ElasticSearch集群时的经验总结,它们大体属于第一类知识“techknow ...

  3. Elasticsearch 集群 单服务器 超级详细教程

    前言 之前了解了Elasticsearch的基本概念.将spring boot + ElasticSearch + head插件 搞通之后.紧接着对es进行下一步的探索:集群.查阅资料的过程中,找到了 ...

  4. 使用Elasticsearch Operator快速部署Elasticsearch集群

    转载自:https://www.qikqiak.com/post/elastic-cloud-on-k8s/ 随着 kubernetes 的快速发展,很多应用都在往 kubernetes 上面迁移,现 ...

  5. 【Elasticsearch】深入Elasticsearch集群

    7.1 节点发现启动Elasticsearch的时候,该节点会寻找有相同集群名字且课件的主节点,如果有加入,没有自己成为主节点,负责发现的模块两个目的 选出主节点以及发现集群的新节点7.1.1发现的类 ...

  6. elasticsearch 集群

    elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器,想要把他们搭建成为一个集群 基本配置 每个节点都要进行这样的配置: cluster.name: ba ...

  7. Elasticsearch集群中处理大型日志流的几个常用概念

    之前对于CDN的日志处理模型是从logstash agent==>>redis==>>logstash index==>>elasticsearch==>&g ...

  8. elasticsearch 集群配置

    2015-10-10 09:56 by 轩脉刃, 999 阅读, 1 评论, 收藏, 编辑 elasticsearch 集群 搭建elasticsearch的集群 现在假设我们有3台es机器,想要把他 ...

  9. [译]使用explain API摆脱ElasticSearch集群RED苦恼(转)

    "哔...哔...哗",PagerDuty的报警通知又来了. 可能是因为你又遭遇了节点宕机, 或者服务器机架不可用, 或者整个ElasticSearch集群重启了. 不管哪种情况, ...

随机推荐

  1. CodeForces 300C Beautiful Numbers(乘法逆元/费马小定理+组合数公式+高速幂)

    C. Beautiful Numbers time limit per test 2 seconds memory limit per test 256 megabytes input standar ...

  2. 2016/05/25 empty() 与 isset()的区别

    对于初学php的人来说,empty()和和isset()用法的区别是很难搞清楚的,他们的用法的差别不仔细去琢磨的话确实很难弄清楚. 先说一下他们的共同点: 都可以判定一个变量是否为空: 都返回bool ...

  3. mongo11---Access control is not enabled for the database

    今天使用MongoDB时遇到了一些问题 建立数据库连接时出现了warnings 出现这个警告的原因是新版本的MongDB为了让我们创建一个安全的数据库 必须要进行验证 后来在外网找到了答案 解决方案如 ...

  4. Local Databases with SQLiteOpenHelper

    Overview For maximum control over local data, developers can use SQLite directly by leveraging SQLit ...

  5. sql server 日期模糊查询

    转换成varchar类型 ) like '%2010-10-09%' 两个字段拼接成一个字段 SELECT C0252_ID, C0252_name,C0252_Addr, ((select top ...

  6. python pep8 命令规范

    命名规范:总体原则,新编代码必须按下面命名风格进行,现有库的编码尽量保持风格.1 尽量单独使用小写字母‘l’,大写字母‘O’等容易混淆的字母.2 模块命名尽量短小,使用全部小写的方式,可以使用下划线. ...

  7. bzoj 2525: [Poi2011]Dynamite【二分+树上贪心】

    一眼二分.然后重点是树上贪心部分 长得像dp一样,设mn为子树内已炸点的最浅点,mx为子树内没有炸并且需要炸的最深点,然后转移直接从子树继承即可 然后是判断当前u点是否需要炸,当mx[u]+mn[u] ...

  8. bzoj 1614: [Usaco2007 Jan]Telephone Lines架设电话线【二分+spfa】

    二分答案,然后把边权大于二分值的的边赋值为1,其他边赋值为0,然后跑spfa最短路看是否满足小于等于k条边在最短路上 #include<iostream> #include<cstd ...

  9. bzoj 4898: [Apio2017]商旅【Floyd+分数规划+二分】

    其实并不会分数规划 因为要最大化 ans=总收益/总路程 ,所以考虑二分答案,找到一条 ans<=总收益/总路程 的回路.先预处理出d(i,j)为(i,j)最短路,w(i,j)为在i买某个物品在 ...

  10. P4949 最短距离(树链剖分+树状数组+基环树)

    传送门 一个中午啊-- 本来打算用仙人掌搞的,后来发现直接基环树就可以了,把多出来的那条边单独记录为\((dx,dy,dw)\),剩下的树剖 然后最短路径要么直接树上跑,要么经过多出来的边,分别讨论就 ...