Elasticsearch-数据的存储、搜索（干货）

ES-深入功能
ES中数据是如何组织的？
逻辑设计：
用于索引和搜索的基本单位是文档，可以将其认为是关系数据库里的一行。文档以类型来分组，类型包含若干文档，类似表格包含若干行。最终，一个或多个类型存在于同一索引中，索引是更大的容器，类似数据库。
物理设计：
ES将每个索引划分为分片，每份分片可以在集群中的不同服务器间迁移。

1.理解逻辑设计：文档、类型和索引

1.1文档：ES是面向文档的，这意味着索引和搜索的最小单位是文档。

文档的重要属性：
(1)它是自我包含的：一篇文档同时包含字段和他们的取值。
(2)它可以是层次型的：文档中还包含新的文档。一个字段的取值可以是简单的，例如，location字段的取值可以是字符串。字段还可以包含其他字段和取值，例如location字段可以同事包含城市和街道地址。
(3)它拥有灵活的结构：文档不依赖于预先定义的模式。例如，并非所有的文档都需要description这个字段值，所以可以彻底忽略该字段。但是文档可能需要新的字段，如location的维度和经度。
一篇文档通常是数据的JSON表示。和ES沟通最为广泛使用的方式是HTTP协议的JSON。
文档的ID不必非要是个整数。实际上它是个字符串，并没有限制。可以放置任何对应用有意义的字符。
ES中的文档是无模式的，也就是说并非所有的文档都需要拥有相同的字段，他们不是受限于同一模式的。

1.2类型

类型是文档的逻辑容器，类似于表格是行的容器。在不同的类型中，最好放入不同结构的文档。
每个类型中字段的定义称为映射。如果一个字段不是JSON文档的根节点，在其中搜索时必须指定路径，如：location中的geolocation字段被称为location.geolocation.
如果一篇新近索引的文档拥有一个映射中尚不存在的字段，ES会自动的将新字段加入映射，为了添加这个字段，ES不得不确定它是什么类型，于是ES会进行猜测，如：如果值是7，ES会假设字段是长整型。这种新字段的自动检测也有缺点，因为ES可能猜的不对。例如：在索引了值7之后，可能想再索引hello world，这时由于它是string而不是long，索引就会失败。对于线上环境，最安全的方式是在索引数据之前，就定义好所需的映射。

1.3索引

索引是映射类型的容器。一个ES索引非常像关系型世界的数据库，是独立的大量文档集合。每个索引存储在磁盘上的同组文件中；索引存储了所有映射类型的字段，还有一些设置。如：每个索引有一个称为refresh_interval的设置，定义了新近索引的文档对于搜索可见的时间间隔。从性能的角度来看，刷新操作的代价是非常昂贵的，这也是为什么更新只是偶尔进行。默认是每秒更新一次，而不是每来一篇新的文档就更新一次。ES是准实时的。

2.理解物理设计：节点和分片

默认情况下，每个索引由5个主要分片组成，而每份主要分片又有一个副本，一共10份分片。副本分片对于可靠性和搜索性能很有益处。一份分片是一个目录中的文件，Lucene用这些文件存储索引数据。分片也是ES将数据从一个节点迁移到另一个节点的最小单位。

2.1创建拥有一个或多个节点的集群

一个节点是一个ES的实例。在服务器上启动ES之后，就拥有了一个节点。也可以通过启动多个ES进程，在同一台服务器上拥有多个节点。
多个节点可以加入同一个集群。在多节点的集群上，同样的数据可以再多台服务器上传播。
优点：
有助于ES的性能，因为ES有了更多的资源。
有助于ES的稳定性，如果每份分片至少有1个副本分片，那么任何一个节点都可以宕机，而ES依然可以进行服务，返回所有数据。
默认情况下，可以连接集群中的任一节点并访问完整的数据集。
缺点：
必须确定节点之间能够足够快速的通信，并且不会产生大脑分裂。

1. 当索引一篇文档时发生了什么
a. 首先根据文档ID的散列值选择一个主分片
b. 并将文档发送到该主分片，这份主分片可能位于另一个节点
c. 文档被发送到该主分片的所有副本分片进行索引。这使得副本分片和主分片之间保持数据同步。数据同步使得副本分片可以服务于搜索请求，并在原有主分片无法访问时自动升级为主分片。
2. 搜索索引时发生了什么
ES需要在该索引的完整分片集合中进行查找。这些分片可以使主分片，也可以是副本分片，原因是对应的主分片和副本分片通常包含一样的文档。ES在索引的主分片和副本分片中进行搜索请求的负载均衡，使得副本分片对于搜索性能和容错都有所帮助。
2.2理解主分片和副本分片
分片：ES处理的最小单元。一份分片是Lucene的索引（所以ES的索引由多个Lucene的索引组成）：一个包含倒排索引的文件目录。倒排索引的结构使得ES在不扫描所有文档的情况下，就能找出哪些文档包含特定的词条（单词）。
下图是一个分片，是一个Lucene索引、一个倒排索引。它默认存储原始文档的内容，再加上一些额外的信息，如词条字典和词频。

词条字典将每个词条和包含该词条的文档映射起来。搜索的时候，ES没有必要为了某个词条扫描所有的文档，而是根据这个字典快速地识别匹配的文档。
词频使得ES可以快速地获取某篇文档中某个词条出现的次数。这对于计算结果的相关性得分非常重要。
分片可以使主分片，也可以是副本分片，其中副本分片是主分片的完整副本。副本分片用于搜索，或者在原有主分片丢失后称为新的主分片。
ES索引由一个或多个主分片以及零个或多个副本分片构成。副本分片可以在运行的时候进行添加和移除，而主分片不可以。可以在任何时候改变每个分片的副本分片数量，因为副本分片总是可以被创建和移除。这并不适用于索引划分为主分片的数量，在创建索引之前，必须决定主分片的数量。过少的分片将限制可扩展性，但是过多的分片会影响性能。默认设置的5个分片是一个不错的选择。

2.3在集群中分发分片

最简单的ES集群只有一个节点：一台机器上运行着一个ES进程。
水平扩展：随着越来越多的节点被添加到同一个集群中，现有的分片将在所有的节点中进行负载均衡。因此，在那些分片上的索引和搜索请求都可以从额外增加的节点中获益。集群中加入更多节点称为水平扩展，请求会被分发，工作负载会被分摊。
垂直扩展：为ES的节点增加更多硬件资源，可能是为虚拟机分配更多处理器，或是为物理机增加更多的内存，尽管垂直扩展每次都能提升性能，但是它并非总是可行的或经济的。

2.4分布式索引和搜索

接受索引请求的ES节点首先选择文档索引到那个分片。默认的，文档在分片中均匀分布：对于每篇文档，分片是通过其ID字符串的散列决定的。每份分片拥有相同的散列范围，接收新文档的机会均等。一旦目标分片确定，接受请求的节点将文档转发到该分片所在的节点。随后，索引操作在所有目标分片的所有副本分片中进行。在所有可用副本分片完成文档的索引后，索引命令就会成功返回。

在搜索的时候，接受请求的节点将请求转发到一组包含所有数据的分片。ES使用round-robin的轮训机制选择可用的分片（主分片或副本分片），并将搜索请求转发过去。ES从这些分片收集结果，将其聚集到单一的回复，然后将回复返回给客户端应用程序。

默认情况下，搜索请求通过round-robin轮询机制选中主分片和副本分片，其假设集群中所有的节点是同样快的。如果不是如此，可以组织数据或配置分片，防止较慢的节点称为瓶颈。