089、初探ELK （2019-05-13 周一）

参考https://www.cnblogs.com/CloudMan6/p/7770916.html

 

在开源的日志管理方案中，最出名的莫过于ELK了。ELK是三个软件的合称： Elasticsearch、Logstash、Kibana。

 

Elasticsearch

 

一个近乎实时查询的全文搜索引擎。Elasticsearch的设计目的就是要能够处理和搜索巨量的日志数据。

 

Logstash

 

读取原始日志，并对其进行分析和过滤，然后将其转发给其他组件（比如Elasticsearch）进行索引和存储。Logstash 支持丰富的Input和Output类型，能够处理各种应用的日志。

 

Kibana

 

一个基于JavaScript的Web图形界面程序，专门用于可视化Elasticsearch的数据。Kibana能够查询Elasticsearch并通过丰富的图表展示结果。用户可以创建Dashboard来监控系统的日志。

 

日志处理流程

 

下图展示了Docker 部署环境下典型的ELK日志处理流程

 

Logstash 负责从各个Docker 容器中提取日志，Logstash将日志转发到 Elasticsearch进行索引和保存，Kibana分析和可视化数据。

 

安装ELK

 

ELK的部署方案可以非常灵活，在规模较大的生产系统中，ELK有自己的集群，实现了高可用和负载均衡。我们的目标是在最短的时间内学习并实践ELK，因此采用最小部署方案，在容器中搭建ELK

 

root@host1:~# docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -itd --name elk sebp/elk

 

我们这里使用 sebp/elk 这个现成的image，里面包含了整理ELK stack。容器启动后ELK各个组件将分别监听如下端口

 

    5601    Kibana web 接口

    9200    Elasticsearch JSON 接口

    5044    Logstash 日志接收接口

 

启动时如果报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

 

执行下面命令临时修改系统参数

sysctl -a|grep vm.max_map_count

sysctl -w vm.max_map_count=262144

sysctl -a|grep vm.max_map_count

 

或者 在/etc/sysctl.conf文件最后添加一行，永久修改系统参数

vm.max_map_count=262144

 

我们先访问以下Kibana http://IP:5601

 

 

访问一下 Elasticsearch的JSON接口  http://IP:9200/_search?pretty