1.ElasticSearch介绍及基本概念

一、ElasticSearch介绍

1. 一个采用RESTful API标准的高扩展性的和高可用性的实时性分析的全文搜索工具
2. 基于Lucene[开源的搜索引擎框架]构建
3. ElasticSearch是一个面向文档类型的数据库
4. es为非关系型数据，存储非结构化的数据

二、ElasticSearch概念

1.节点(node):

1. 一个装有es的服务并且提供故障转移和扩展的服务器，
2. 单独一个es服务可以存储数据及搜索功能
3. 在集群中一个节点的名称必须是唯一的
4. 如果在集群中,通过节点名称进行管理

2.集群(cluster):

1. 集群就是有多个node组织在一起。共同工作分享整个数据具有负载均衡功能的集群
2. 集群里的节点协调工作，共享数据。
3. 集群里通过master节点进行集群管理工作
4. 集群里通过选举选出一个matser节点
5. 一个集群里只有一个matser节点
6. 每一个节点都有成为matser节点的可能

3.索引(Index)

1. 索引就是一个拥有几分相似特征的文档集合
2. 相当于mysql里的database

4.文档(Document)

1. 一个文档是一个可以被索引的基础信息单元
2. 相当于mysql里的行
3. 文档用json格式来表示

5.类型(type)

1. 一个索引中，可以定义一种或者多种数据类型
2. 一个类型是你的索引的一个逻辑上的分类/分区

6.字段(field)

1. es里的最小单元 相当于数据的某一列
2. 类似于json里一个键

7.分片(shards)

1. es将索引分成若干份 每个部分是一个shards
2. 每一个shards存在不同的节点上
3. 一个节点上不能存在两个相同的shards
4. 每一个文档通过文档id进行hash来确定放在哪一个节点上
5. 每一个分片都相当于一个独立的Lucene实例

8.副本(replicas)

1. 索引的一份或者多份拷贝
2. 容灾作用，防止主分片丢失后，副本分片会作为新的主分片，保证集群的数据完整性
3. 提供查询性能，query的时候，既可以查询主分片，也可以查询副本分片

三、ElasticSearch和关系型数据库对比

关系型数据库Mysql	非关系型数据库es
数据库 database	索引 Index
表tables	类型 type
数据行row	文档 Documents
数据列Column	字段 Fieid

四、ElasticSearch架构图

1.Gateway

1. gateway是ES数据存储的格式
2. 可以使用hdfs，本地，亚马逊的s3等多种存储方式
3. 存储索引信息,集群信息,mapping, 索引碎片信息,以及transaction logs

2.Distributed Lucene Directory

1. Lucene框架 es就是基于Lucene框架开发的
2. Lucene框架服发现等

3.Index Module

1. 创建索引的模块

4.Search Module

1. 搜索模块

5.Mapping

1. 相当于mysql里的schema

6.river

1. 从外部获取异构数据 来创建索引

7.Discovery

1. 节点启动后会互相ping 根据在es.yml配置文件里找到对应的端口
2. 进行开始选举，从各个节点任务的master中选，进行id字典排序，选择第一个
3. 如果各个节点上都没有认为的master， 那么就从所有节点中选择
4. 如果就一个节点 那么master就是她自己
5. ES支持任意数目的集群,通过一个规则，只要所有的节点都遵循同样的规则，得到的信息都是对等的，选出来的主节点肯定是一致的. 但分布式系统的问题就出在信息不对等的情况，这时候很容易出现脑裂（Split-Brain）的问题，大多数解决方案就是设置一个quorum值，要求可用节点必须大于quorum（一般是超过半数节点），才能对外提供服务。而 Elasticsearch 中，这个quorum的配置就是 discovery.zen.minimum_master_nodes

8.Scriptsing

1. 脚本执行功能 对查询出来的数据进行处理
2. 支持多种语言

9.3rdplugins

1. 支持安装第三方插件

10. transport

1. 是支持的协议类型 默认使用http进行交互