ES节点分析

ES集群概念

集群

一个集群cluster由一个或者多个节点组成，具有相同的cluster.name，协同工作，分项数据和负载。

当有新的节点加入或者删除了一个节点时，集群回感知到并能够平衡数据。

ElasticSearch中可以监控很多信息，有一个最重要的就是集群健康。

集群健康有三个状态：green（所有主要分片和复制分片都可用），yellow（所有主要分片可用，但不是所有复制分片都可用），red（不是所有的主要分片都可用）。

节点

一个节点node就是一个ElasticSearch的实例。

集群中的一个节点会被选举为主节点master，它将临时管理集群级别的一些变更，譬如新建或者删除索引、增加或者移除节点等等。

主节点不参与文档级别的变更或者搜索，所以不会成为集群的瓶颈。

任何节点都可以成为主节点。

用户能够与集群中的任何节点通信，包括主节点。

每一个节点都知道文档存在于哪个节点上，可以转发请求到相应的节点上。

分片

一个分片shard是一个最小级别的工作单元，es把一个完整的索引分成多个分片。

仅保存了索引中所有数据的一部分。 分片就是一个Lucene实例，并且它本身就是一个完整的搜索引擎。

文档存储在分片中，并且在分片中被索引，但是程序不会直接与分片通信，而是与索引通信。

Replicas分片：代表索引副本。es可以设置多个索引的副本，副本的作用是提高了系统的容错性。

当某个节点的分片损坏或者丢失的时候可以从副本中恢复。

还可以提高查询搜索效率，es会自动对搜索请求进行负载均衡。

ElasticSearch怎样设置 master、data 和 client 节点

1、默认情况

在生产环境下，如果不修改elasticsearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题。

默认情况下，elasticsearch 集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的。

1）node.master

node.master：这个属性表示节点是否具有成为主节点的资格
注意：此属性的值为 true，并不意味着这个节点就是主节点。
         因为真正的主节点，是由多个具有主节点资格的节点进行选举产生的。
         所以，这个属性只是代表这个节点是不是具有主节点选举资格。

2）node.data

默认情况下这两个属性的值都是true。
node.data：这个属性表示节点是否存储数据。

2、四种组合

1） node.master: true AND node.data: true AND node.ingest: true

　　这种组合表示这个节点既有成为主节点的资格，又可以存储数据，还可以作为预处理节点，

这个时候如果某个节点被选举成为了真正的主节点，那么他还要存储数据，这样对于这个节点的压力就比较大了。

　　elasticsearch 默认是：每个节点都是这样的配置，在测试环境下这样做没问题。

实际工作中建议不要这样设置，这样相当于 主节点 和 数据节点 的角色混合到一块了。

2）node.master: false AND node.data: true AND node.ingest: false

　　这种组合表示这个节点没有成为主节点的资格，也就不参与选举，只会存储数据。

这个节点我们称为 data(数据)节点。

在集群中需要单独设置几个这样的节点负责存储数据。后期提供存储和查询服务

3） node.master: true AND node.data: false AND node.ingest: false

　　这种组合表示这个节点不会存储数据，有成为主节点的资格，可以参与选举，有可能成为真正的主节点。

这个节点我们称为master节点

4）node.master: false AND node.data: false AND node.ingest: true

　　这种组合表示这个节点即不会成为主节点，也不会存储数据，

这个节点的意义是作为一个 client(客户端)节点，主要是针对海量请求的时候可以进行负载均衡。

在新版 ElasticSearch5.x 之后该节点称之为：coordinate 节点，其中还增加了一个叫：ingest 节点，用于预处理数据（索引和搜索阶段都可以用到），

当然，作为一般应用是不需要这个预处理节点做什么额外的预处理过程，那么这个节点和我们称之为 client 节点之间可以看做是等同的，

我们在代码中配置访问节点就都可以配置这些 ingest 节点即可。

3、总结

　　默认情况下，每个节点都有成为主节点的资格，也会存储数据，还会处理客户端的请求。在一个生产集群中我们可以对这些节点的职责进行划分。

1）master节点

建议集群中设置 3台 以上的节点作为

master 节点【node.master: true node.data: false node.ingest:false】，

这些节点只负责成为主节点，维护整个集群的状态。

2）data节点

再根据数据量设置一批 data节点【node.master: false node.data: true node.ingest:false】，

这些节点只负责存储数据，后期提供建立索引和查询索引的服务，这样的话如果用户请求比较频繁，这些节点的压力也会比较大

3）client节点

所以在集群中建议再设置一批 ingest 节点也称之为 client 节点【node.master: false node.data: false node.ingest:true】，

这些节点只负责处理用户请求，实现请求转发，负载均衡等功能。

master节点：普通服务器即可(CPU 内存 消耗一般)

data 节点：主要消耗磁盘，内存

client | ingest 节点：普通服务器即可(如果要进行分组聚合操作的话，建议这个节点内存也分配多一点)