ELK+SpringBoot+Logback

离线安装及配置

版本	v1.0
编写时间	2018/6/11
编写人	xxx

一、ELK介绍

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。

Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。

二、安装环境

系统：Centos7

JDK:1.8

Elasticsearch:6.2.4

Logstash:6.2.4

Kibana :6.2.4

ELK下载地址：https://www.elastic.co/cn/products

安装参考地址：https://www.cnblogs.com/huangxincheng/p/7918722.html

三、Elasticsearch安装

3.1 解压

tar -xzvf elasticsearch-6.2.4.tar.gz

3.2 配置

cd elasticsearch-6.2.4

vim config/elasticsearch.yml

# 集群名称

cluster.name: es_cluster

# 节点名称

node.name: node-0

# 数据存储目录（多个路径用逗号分隔）

path.data: /tmp/elasticsearch/data

# 日志目录

path.logs: /tmp/elasticsearch/logs

# 本机IP

network.host: 192.168.53.11

# 监听端口（默认）

http.port: 9200

3.3 创建账户

不能用root启动

#新建elsearch组

groupadd elsearch

#新建一个elsearch用户

useradd elsearch -g elsearch -p elasticsearch

#指定elasticsearch-6.2.4目录所属elsearch组

chown -R elsearch:elsearch ./elasticsearch-6.2.4

3.4 启动

用elsearch登录，然后启动

nohup ./bin/elasticsearch &

注意：[nohup 命令 &]：后台启动，启动日志输出到当前目录下的nohup.out，使用tail -f nohup.out查看启动情况，看到以下字样，则启动成功：

publish_address {192.168.53.11:9300}

publish_address {192.168.53.11:9200}

started

访问192.168.53.11:9200可以看到node,cluster_name

3.5 异常处理

1. Ubuntu elasticsearch max virtual memory areas vm.max_map_count [65530] is too low, increase to at le

解决方案：vim /etc/sysctl.conf

添加vm.max_map.count=655360

执行：sysctl -p

max file descriptors [65535] for elasticsearch process likely too low, increase to at least [65536]

解决方案：ulimit -n 65536

四、SpringBoot配置

4.1 添加依赖pom.xml

<groupId>net.logstash.logback</groupId>

<artifactId>logstash-logback-encoder</artifactId>

</dependency>

4.2 配置logback.xml

<appender name=”LOGSTASH”

class=”net.lgostash.logback.appender.logstashTcpSocketAppender”>

<destination>localhost:9601</destination>

<encoder charset=”UTF-8”

class=”net.logstash.logback.encoder.LogstashEncoder”>

<customFields>{“appname”:”uem-smgr-service”}</customFields>

</encoder>

</appender>

需要将日志输出到logstash的地方都需要配置<appender-ref ref=”LOGSTASH”/>

<appender-ref ref=”LOGSTASH”/>

</logger>

五、Logstash安装

5.1 解压

tar -xzvf logstash-6.2.4.tar.gz

5.2 配置

cd logstash-6.2.4

logstash.conf名字自定义的

vim config/logstash.conf

input {

tcp {

host => “localhost”

port => 9601

mode => “server”

tags => [“tags”]

codec => json_lines

}

output {

elasticsearch {

action => “index”

hosts => “192.168.53.11”

index => “%{[appname]}-52.200-log-%{+YYYY.MM.dd}”

}

stdout {

codec => rubydebug { }

}

注意：

1.input.tcp: 中配置的是本机地址，ip和端口必须和springboot的logback.xml中的配置完全一样，不能一个配ip一个localhost

2.output.elasticsearch: 配置elasticsearch服务器的ip

3.%{[appname]}: 引用springboot的logback.xml中配置的变量

4.output.stdout: 在终端显示输出信息（可以不配置）

5.如果修改logstash.conf后自动加载，需要配置：

vim config/logstash.yml

config.reload.automatic: true

5.3 启动

nohup ./bin/logstash -f ./config/logstash.conf &

看到Successfully started Logstash API endpoin启动成功

六、Kibana安装

6.1 解压

tar -xzvf kibana-6.2.4-linux-x86_64.tar.gz

6.2 配置

cd kibana-6.2.4-linux-x86_64

vim config/kibana.yml

server.host: “0.0.0.0”

elasticsearch.url: “http://192.168.53.11:9200”

6.3 启动

nohup ./bin/kibana &

6.4 访问http://localhost:5601

1. 创建index Pattern

当服务器，项目启动，会生成index，名称为logstash配置的%{[appname]}-52.200-log-%{+YYYY.MM.dd}

点击Management----Index Patterns----CreateIndexPattern

在列表中能看到index名称

在Step1中填写匹配模式：如*，appname值*

在Step2中配置过滤字段@timestamp或其他

点击Discover，在索引框中选择刚配置的匹配模式，就可以查看日志

七、总结

7.1流程

springboot项目启动，日志通过logback记录，并且根据配置将日志流发送给logstash，logstash过滤，存储，elasticsearch负责索引搜索，kibana负责页面展示。

注意如果几个服务放在不同的服务器，注意端口的开放。

7.2用到的命令

tar -xvzf xxx.tar.gz 解压
tar -cvf 压缩
nohup 命令 & 后台启动命令
jobs -l 查看后台启动
tail -f 文件查看文件最后几行
head -n行数文件查看文件前几行
ps -ef|grep 8181 查看进程
kill pid 杀进程
grep -v aaa 过滤不包含aaa
systemctl stop firewalld 临时关闭防火墙
systemctl disabled firewalld 禁止开机启动
firewall-cmd --zone=public --add-port=80/tcp --permanent 开启端口80
firewall-cmd --reload 重启防火墙

firewall-cmd --state ##查看防火墙状态，是否是running

firewall-cmd --reload ##重新载入配置，比如添加规则之后，需要执行此命令

firewall-cmd --get-zones ##列出支持的zone

firewall-cmd --get-services ##列出支持的服务，在列表中的服务是放行的

firewall-cmd --query-service ftp ##查看ftp服务是否支持，返回yes或者no

firewall-cmd --add-service=ftp ##临时开放ftp服务

firewall-cmd --add-service=ftp --permanent ##永久开放ftp服务

firewall-cmd --remove-service=ftp --permanent ##永久移除ftp服务

firewall-cmd --add-port=80/tcp --permanent ##永久添加80端口

iptables -L -n ##查看规则，这个命令是和iptables的相同的

man firewall-cmd ##查看帮助