ELK简单安装

ELK日志分析平台

一、ELK介绍

ELK是三个开源软件的缩写，分别为：Elasticsearch 、 Logstash以及Kibana，都是开源软件，新增一个beats，（轻量级日志处理工具Agent）

Elasticsearch是开源分布式搜索引擎，提供搜索、分析、存储数据三大功能，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等

Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Beats在这里是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。

二、elasticsearch搭建

环境介绍：

centos 6.8

JDK 1.8

1．下载ELK的三大组件

Elasticsearc下载地址： https://www.elastic.co/downloads/elasticsearch

Logstash下载地址： https://www.elastic.co/downloads/logstash

Kibana下载地址： https://www.elastic.co/downloads/kibana

2．创建运行elk用户

groupadd elk

useradd -g elk elk

创建运行目录：

mkdir elk

chown -R elk:elk /elk

◆关闭防火墙

3．修改配置参数

配置limit相关参数：

vim /etc/security/limits.conf

添加以下内容

* soft nproc 65536

* hard nproc 65536

* soft nofile 65536

* hard nofile 65536

以上均是由root用户完成

4．安装ELK

由elk用户来操作

tar -xvf elasticsearch-6.5.2.tar.gz

vi config/elasticsearch.yml

修改以下内容

cluster.name: my-application

node.name: node-1

bootstrap.system_call_filter: false（手动添加）

network.host: 192.168.19.95

http.port: 9200

保存退出

5．启动elasticsearch

启动Elasticsearch

./bin/elasticsearch

nohup ./elasticsearch &  ##后台启动

查看是否启动：

netstat -an |grep 9200

6．启动验证

在浏览器中输入http://192.168.19.95:9200/

{

"name" : "node-1",

"cluster_name" : "my-application",

"cluster_uuid" : "O-cNGXEsScSns8Catgq4wg",

"version" : {

"number" : "6.5.2",

"build_flavor" : "default",

"build_type" : "tar",

"build_hash" : "9434bed",

"build_date" : "2018-11-29T23:58:20.891072Z",

"build_snapshot" : false,

"lucene_version" : "7.5.0",

"minimum_wire_compatibility_version" : "5.6.0",

"minimum_index_compatibility_version" : "5.0.0"

},

"tagline" : "You Know, for Search"

}

7．启动报错处理

◆max number of threads [1024] for user [lish] likely too low, increase to at least [2048]

解决：切换到root用户，进入limits.d目录下修改配置文件。

vi /etc/security/limits.d/90-nproc.conf

修改如下内容：

* soft nproc 1024

#修改为

* soft nproc 2048

◆max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

解决：切换到root用户修改配置sysctl.conf

vi /etc/sysctl.conf

添加下面配置：

vm.max_map_count=655360

并执行命令：

sysctl -p

◆max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

解决：修改切换到root用户修改配置limits.conf 添加下面两行

命令:vi /etc/security/limits.conf

*        hard    nofile           65536

*        soft    nofile           65536

三、logstash搭建

1、解压文件

tar -xvf logstash-6.5.2.tar.gz

2、新建索引配置文件

cd /elk/logstash-6.5.2/bin

mkdir conf

vi conf/logstash-indexer.conf

内容如下：

input {

file {

path=>["/elk/logstash-6.5.2/logs/a.log","/elk/logstash-6.5.2/logs/b.log"]

}

}

output {

elasticsearch { hosts => ["192.168.19.95:9200"] }

stdout { codec => rubydebug }

}

◆◆◆◆◆

input{file{...}}部分指定的是日志文件的位置（可以多个文件）

output部分则是表示将日志文件的内容保存到elasticsearch，这里hosts对应的是一个数组，可以设置多个elasticsearch主机，相当于一份日志文件的内容，可以保存到多个elasticsearch中

3、启动

在logstash /bin 目录下

./logstash -f conf/logstash-indexer.conf

等待片刻，打开另一个窗口，向/elk/logstash-6.5.2/logs/a.log 中写入  hello world 保存退出，然后观察logstash的运行窗口，是否有东西输出

{

"message" => "hello world",

"@version" => "1",

"@timestamp" => "2016-01-08T14:35:16.834Z",

"host" => "yangjunmingdeMacBook-Pro.local",

"path" => "/var/opt/log/a.log"

}

此时浏览http://localhost:9200/_search?pretty 也应该能看到一堆输出，表明elasticsearch接收到logstash的数据了

四、kibana的配置启动

1、修改配置文件

vi /elk/kibana-6.5.2-linux-x86_64/config/kibana.yml

修改第12行：

elasticsearch.url: "http://192.168.19.95:9200"

##指定访问位置

2、启动服务

/elk/kibana-6.5.2-linux-x86_64/bin

./kibana

启动完成后，在浏览器里输入http://localhost:5601/ 即可看到kibana界面，首次运行，会提示创建index，直接点击Create按钮即可。