Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana

Elastic Stack 是一系列开源产品的合集，包括 Elasticsearch、Kibana、Logstash 以及 Beats 等等，能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。

一、Elasticsearch、Splunk、Solr、Lucene

Elasticsearch是一款基于Lucene的开源分布式搜索分析引擎的产品。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

• 近实时（Near Real Time）；
• 分布式存储、搜索和分析引擎；

大数据的搜索平台已经成为了众多企业的标配，Elasticsearch、Splunk（商业上市公司）、Solr（Apache开源项目）是其中最为优秀和流行的选择。

 

Splunk 是大数据领域第一家在纳斯达克上市公司，Splunk提供一个机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备（物理、虚拟和云中）生成的快速移动型计算机数据 。从一个位置搜索并分析所有实时和历史数据。 使用 Splunk 处理计算机数据，可让您在几分钟内（而不是几个小时或几天）解决问题和调查安全事件。监视您的端对端基础结构，避免服务性能降低或中断。以较低成本满足合规性要求。关联并分析跨越多个系统的复杂事件。获取新层次的运营可见性以及 IT 和业务智能。

 

Solr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和索引复制。Solr是用Java编写、运行在Servlet容器（如 Apache Tomcat 或Jetty）的一个独立的全文搜索服务器。 Solr采用了 Lucene Java 搜索库为核心的全文索引和搜索，并具有类似REST的HTTP/XML和JSON的API。

 

根据最新的数据库引擎排名显示，Elasticsearch、Splunk、Solr分别占据了搜索引擎（Search engine）的前三位。

在搜索引擎领域，上述3个产品的流行趋势图，如下所示。Elasticsearch 一直向上，超出Splunk和Solr。

从趋势上来看，Elasticsearch和Splunk上升明显，Elasticsearch更是表现出了非常强劲的势头。

Lucene 搜索引擎库

Elasticsearch和Solr都使用Lucene作为内部引擎，但是在使用Elasticsearch或Solr做全文搜索时，只需要使用统一开发好的API即可，而不需要了解其背后复杂的Lucene的运行原理。

下面简要了解一下Lucene：

• 基于Java语言开发的搜索引擎库；
• 创建于1999年，2005年成为Apache顶级开源项目；
• Lucene 具有高性能、易扩展的优点；

 

二、Elasticsearch分布式架构

Elasticsearch为分布式设计的，有很好的扩展性，在一个典型的分布式配置中，每一个节点（node）可以配制成不同的角色，如下图所示。

• Client Node，负责API和数据访问的节点，不存储/处理数据。
• Data Node，负责数据的存储和索引。
• Master Node， 管理节点，负责Cluster中节点的协调，不存储数据。

每一种角色可以通过Elasticsearch的配置文件或者环境变量来配置。每一种角色都可以很方便的扩展，因为Elasticsearch采用了对等性的设计，也就是所有的角色是平等的。Master Node会进行Leader Election，其中有一个是领导者。这样的设计使得集群环境的伸缩性非常好，尤其是在容器环境中，例如Docker Swarm或者Kubernetes中使用。

集群规模可以从单个节点扩展到数百个节点，具有高可用和水平扩展的特性。

 

Elasticsearch 支持多种方式集成接入

• 多种编程语言的类库，如Java、.Net、Python、Ruby、PHP、Groovy、Perl等等；
• 提供了RESTful API 和 TransportClient API，建议使用RESTful API；

 

三、Logstash 数据处理管道

Logstash 是 Elastic Stack 的中央数据流引擎，用于收集、丰富和统一所有数据，而不管格式或模式。当Logstash与Elasticsearch，Kibana，及 Beats 共同使用的时候便会拥有特别强大的实时处理能力。

• 开源的服务器端数据处理管道，支持从不同来源采集数据，转换数据，并将数据发送到不同的存储库中。
• Logstash 创建于 2009年，最初用来做日志的采集与处理。
• 2013年，Logstash被Elasticsearch 收购。

Logstash 能够动态地转换和解析数据，Logstash 特性如下：

• 实时解析和转换数据，如从IP地址解析出地理坐标，将PII（personally identifiable information，个人验证信息）数据匿名化，完全排除敏感字段。
• 可扩展性，有200多个插件，如日志、数据库等等。
• 可靠性和安全性，Logstash会通过持久化队列来保证至少将运行中的事件送达一次，并支持数据传输加密。

 

四、Kibana 数据可视化分析

Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。

• Kibana名字的含义 = Kiwifruit（奇异果）+ Banana（香蕉）
• 数据可视化工具，帮助用户解开对数据的任何疑问。
• 基于Elasticsearch和Logstash工具，2013年加入Elastic公司。

 

五、Elastic的发展历程

2015年3月收购Elastic Cloud，提供Cloud服务。

2015年3月收购PacketBeat。

2016年9月收购PreAlert - Machine Learning异常检测。

2017年6月收购Opbeat进军APM。

2017年11月收购Saas厂商Swiftype，提供网站和App搜索。

2018年X-Pack开源。