springboot 集成 elk 日志收集功能

Lilishop 技术栈

官方公众号 & 开源不易，如有帮助请点Star

介绍

官网：https://pickmall.cn

Lilishop 是一款Java开发，基于SpringBoot研发的B2B2C多用户商城，前端使用 Vue、uniapp开发系统全端全部代码开源

本系统用于教大家如何运用系统中的每一个细节，如：支付、第三方登录、日志收集、分布式事务、秒杀场景等各个场景学习方案

git地址 https://gitee.com/beijing_hongye_huicheng/lilishop-spring-learning

本文学习 ELK 日志收集系统

ELK介绍

“ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。

负责模块

Elasticsearch：用于存储、查询日志信息。

Logstash：用于收集日志，应用整合了Logstash通过配置Logstash的信息，将日志推送给Logstash。

Kibana：Elasticsearch web界面。用于图形操作es中的索引。

使用步骤

启动elk容器，需要用到docker-compose，如果不会安装点这里，环境安装内容就是了。

　　　　# 跳转项目地址

　　　　cd elk

　　　　# 启动elk各个容器服务

　　　　docker-compose up -d

启动springboot应用。
请求springboot 应用 http://127.0.0.1:8080 响应500错误，因为get请求我计算了 1/0 ,抛出异常
请求kibana http://127.0.0.1:5601 查看日志

开发步骤

配置日志收集示例如下(此文件为docker容器配置文件，在elk项目根目录 config目录下，同目录还有准备好的ik分词器)

输入源：接入监听本机logstash
输出元：接入es，index为索引名称

input {

  tcp {

    mode => "server"

    host => "127.0.0.1"

    port => 4560

    codec => json_lines

  }

}

output {

  elasticsearch {

    hosts => "127.0.0.1:9200"

    index => "application-%{+YYYY.MM.dd}"

  }

}

springboot项目增加maven依赖

<dependency>

    <groupId>net.logstash.logback</groupId>

    <artifactId>logstash-logback-encoder</artifactId>

    <version>6.6</version>

</dependency>

配置日志输出，项目resource目录，配置配置文件 logback.xml （src/resource/logback.xml）

<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE configuration>

<configuration>

    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>

    <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>

    <!--应用名称-->

    <property name="APP_NAME" value="elk-study"/>

    <contextName>${APP_NAME}</contextName>

    <!--输出到elk的LOGSTASH-->

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">

      <!--配置为 LOGSTASH 地址 -->

        <destination>127.0.0.1:4560</destination>

        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">

            <providers>

                <timestamp>

                    <timeZone>UTC</timeZone>

                </timestamp>

            </providers>

            <!--自定义字段 区分项目-->

            <customFields>{"appName":"${APP_NAME}"}</customFields>

        </encoder>

    </appender>

  <!-- 日志级别-->

    <root level="INFO">

      <!--输出位置为LOGSTASH-->

        <appender-ref ref="LOGSTASH"/>

    </root>

</configuration>

书写一个抛出异常的控制器

@RestController

public class TestController {

    @GetMapping

    public void test() {

        //抛出异常

        System.out.println(1 / 0);

    }

}