ELK大流量日志分析系统搭建

1、首先说下EKL到底是什么吧？

ELK是Elasticsearch（相当于仓库）、Logstash（相当于旷工，挖矿即采集数据）、Kibana（将采集的数据展示出来）的简称，这三者是核心套件，但并非全部。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

三者相互通信的端口是：9200

优化模型：

filebeat（日志采集）——》kafaka集群（防止日志丢失，进行限流和负载均衡）-------》logstash集群（日志输入、过滤、输出）---------》elasticSearch集群--------》kibana显示