基于Centos 7.4 搭建ELK整合SpringBoot日志收集
基于Centos 7.4搭建es7.12.0+logstash-7.12.0+kibana-7.12.0(ELK)整合SpringBoot日志收集
注:Skywalking和logstash可共用一个ES,根据实际性能要求判断是否需要独立使用。
ELK简介:
ELK是Elasticsearch+Logstash+Kibana简称
- Elasticsearch:是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结合起来。Elasticsearch 基于 Lucene 开发,现在是使用最广的开源搜索引擎之一。
- Logstash: 简单来说就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端,与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供了很多功能强大的滤网以满足你的各种应用场景。
- Kibana: 是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据,使用各种不同的图标、表格、地图等,kibana能够很轻易的展示高级数据分析与可视化。
ELK实现的日志采集的核心是,通过 logstash 将应用系统的日志通过 input 收集,然后通过内部整理,通过 output 输出到 Elasticsearch 中,其实就是建立了一个 index,然后 kibana作为可视化平台,将 ES 的index进行输出到平台,通过图表的方式进行展示。
环境准备:
JDK: 1.8
OS: CentOS Linux release 7.4.1708 (Core)
elasticsearch:7.12.0
kibana:7.12.0
logstash:7.12.0
环境搭建:
其中 elasticsearch 的搭建可以参考 https://www.cnblogs.com/yizhipanghu/p/14738492.html, 在这里就不介绍了。
启动 Elasticsearch
一、安装Kibana
1、进入安装包路径
[root@skywalking skywalking]# cd /usr/local/skywalking
2、解压软件包
[root@localhost skywalking]# tar -zxvf kibana-7.12.0-linux-x86_64.tar.gz
3、修改配置文件
[root@skywalking skywalking]# vim /usr/local/skywalking/kibana-7.12.0-linux-x86_64/config/kibana.yml
# 服务端口号:
server.port: 5601
# 服务IP地址:
#server.host: "localhost"
server.host: "10.10.10.10"
# ES链接地址:
#elasticsearch.url: "localhost"
elasticsearch.url: "http://10.10.10.10:9200"
# 配置pid文件存储运行Kibana时的进程号,便于用kill -9 `cat /var/run/kibana.pid`来杀进程。
pid_file: /home/skywalking/es/kibana-6.2.4-linux-x86_64/run/kibana.pid
# 配置Kibana的日志输出位置:
logging.dest: /home/skywalking/es/kibana-6.2.4-linux-x86_64/kibana-log/kibana.log
#创建日志文件夹和进程文件夹
[root@skywalking skywalking]# mkdir -p /usr/local/skywalking/kibana-7.12.0-linux-x86_64/run/
[root@skywalking skywalking]# mkdir -p /usr/local/skywalking/kibana-7.12.0-linux-x86_64/kibana-log/
4、开放端口:
[root@skywalking skywalking]# firewall-cmd --list-ports
[root@skywalking skywalking]# firewall-cmd --zone=public --add-port=5601/tcp --permanent
[root@skywalking skywalking]# firewall-cmd --reload
5、目录赋权限
[root@skywalking skywalking]# chown -R es:es /usr/local/skywalking/kibana-7.12.0-linux-x86_64
6、启动
[root@skywalking skywalking]# cd /usr/local/skywalking/kibana-7.12.0-linux-x86_64/bin/
[root@skywalking bin]# su es
[es@skywalking bin]$ nohup ./kibana & #在后台不输出日志方式运行
[es@skywalking bin]$ nohup ./kibana > /dev/null 2>&1 &
7、访问kibana页面
http://10.10.10.10:5601
二、安装logstash
1、进入安装包路径
[root@skywalking skywalking]# cd /usr/local/skywalking
[root@skywalking skywalking]# ll
drwxrwxr-x. 11 1001 1002 185 4月 30 17:05 apache-skywalking-apm-bin-es7
-rw-r--r--. 1 root root 184816700 4月 30 16:59 apache-skywalking-apm-es7-8.5.0.tar.gz
drwxr-xr-x. 10 es es 167 4月 30 15:10 elasticsearch-7.12.0
-rw-r--r--. 1 root root 327497331 4月 30 15:03 elasticsearch-7.12.0-linux-x86_64.tar.gz
drwxr-xr-x. 12 es es 239 4月 30 15:49 kibana-7.12.0-linux-x86_64
-rw-r--r--. 1 root root 281022115 4月 30 15:04 kibana-7.12.0-linux-x86_64.tar.gz
-rw-r--r--. 1 root root 368429061 5月 8 14:42 logstash-7.12.0-linux-x86_64.tar.gz
[root@skywalking skywalking]#
2、解压软件包
[root@localhost skywalking]# tar -zxvf logstash-7.12.0-linux-x86_64.tar.gz
3、在config文件夹下添加 test.conf 文件,内容如下:
[root@skywalking skywalking]# cat logstash-7.12.0/config/test.conf
input{
tcp {
mode => "server"
host => "10.10.10.10" ##监听发送日志的主机地址
port => 9061 #logstash服务端口,进行采集的端口
codec => json_lines #解码器,有的版本需单独安装
}
}
output{
elasticsearch{
hosts=>["10.10.10.10:9200"] #ES地址和端口
index => "springboot-%{project}-%{+YYYY.MM.dd}" #在ES生成的索引名称,%{project}为获取微服务logback-spring.xml中配置的project的值
}
stdout{codec => rubydebug}
}
[root@skywalking skywalking]#
4、启动logstash
[root@skywalking skywalking]# cd logstash-7.12.0/
[root@skywalking logstash-7.12.0]# ./logstash -f ../config/test.conf
5、Spring boot微服务中添加依赖
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>6.0</version>
</dependency>
6、在resources下添加logback-spring.xml 只需把下面ip地址和project修改一下即可
<appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<!--配置你的logstash的IP:端口-->
<destination>10.10.10.10:9061</destination>
<!-- encoder必须配置,有多种可选 -->
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
<providers>
<timestamp>
<timeZone>UTC</timeZone>
</timestamp>
<pattern>
<pattern>
{
"severity": "%level",
"service": "${springAppName:-}",
"trace": "%X{X-B3-TraceId:-}",
"span": "%X{X-B3-SpanId:-}",
"exportable": "%X{X-Span-Export:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger{40}",
"rest": "%message"
}
</pattern>
</pattern>
</providers>
<!--project写微服务项目名,后续在logstash配置中动态保存为ES的索引名称-->
<customFields>{"project":"gateway"}</customFields>
</encoder>
</appender>
<!-- 日志输出级别 -->
<root level="INFO">
<appender-ref ref="stash" />
</root>
7、application.properties 修改配置:
logging.config = classpath:logback-spring.xml
8.然后启动springboot ,在对应的controller 里面打印一些日志,然后就可以看到启动 Logstash 的 控制台有所输出,就可以了。
9.登录kibana http://10.10.10.10:5601/ ,点击导航栏 monitoring 模块 ---> 点击 Indices :增加索引,查看日志就可以了
logstash配置文件详解:https://blog.csdn.net/weixin_41436549/article/details/82222344
配置参考:https://www.cnblogs.com/xiaoyao-001/p/13273198.html
logback配置详解:https://blog.csdn.net/weixin_43944305/article/details/103794594
logback使用详解:https://blog.csdn.net/lhl1124281072/article/details/79852582
logback日志级别配合nacos使用:https://blog.csdn.net/DPnice/article/details/94650402
基于Centos 7.4 搭建ELK整合SpringBoot日志收集的更多相关文章
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.7. 配置资源与参数
2.7.配置资源与参数 2.7.1. 修改主机名称 [root@linuxrac1 ~]# cd /etc/sysconfig [root@linuxrac1 sysconfig]# vi netwo ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.6. 安装Oracle所依赖的必要包
2.6. 安装Oracle所依赖的必要包 2.6.1. 检查Oracle所依赖的必要rpm包 [root@localhost /]#rpm -q binutils compat-libstdc elf ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.5. 配置网络
2.5. 配置网络 2.5.1. 配置网络 Oracle Rac数据库涉及到公用网络和私有网络,因此要做网络划分和IP地址规划,下表列出了要安装的RAC数据库对应的IP地址.主机名以及网络连接类型: ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.4. 安装JDK
2.4.安装JDK 2.4.1.准备JDK 在百度搜索:JDK下载 2.4.2.上传JDK put E:\软件安装文件\jdk-8u11-linux-x64.rpm /home/linuxrac1/D ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.3配置共享磁盘
2.3.配置共享磁盘 2.3.1.创建共享磁盘 在cmd中进入WMware Workstation 10.0 安装目录: 1.创建存储Oracle Clusterware文件 (Oracle Clu ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.2安装操作系统CentOS5.4
2.2. 安装操作系统CentOS5.4 两个虚拟机都安装,此步骤在创建虚拟机节点时: 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境所有链接: 1.资源 ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.1创建虚拟机
2.1.创建虚拟机 2.1.1. 创建虚拟机节点1 2.1.2. 创建虚拟机节点2 操作如节点1. 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境所有链 ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:1.资源准备
最近,在VmwareStation 10虚拟机上,基于CentOS5.4安装Oracle 11g RAC,并把过程记录下来.刚开始时,是基于CentOS 6.4安装Oracle 11g RAC, 没有 ...
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:4.安装Oracle RAC FAQ-4.1.系统界面报错Gnome
1.错误信息:登录系统后,屏幕弹出几个错误对话框,无菜单.无按钮 GConf error: Failed to contact configuration server; some possible ...
随机推荐
- 解决Spring中使用Example无法查询到Mongodb中的数据问题
1 问题描述 在Spring Boot中使用Mongodb中的Example查询数据时查询不到,示例代码如下: ExampleMatcher matcher = ExampleMatcher.matc ...
- springdata jpa之ddl-auto配置的属性
在jpa中ddl-auto一共有四种: 分别为: ddl-auto:create ----每次运行该程序,没有表格会新建表格,表内有数据会清空:ddl-auto:create-drop ----每次程 ...
- Spring01-模块划分
Test:pring的单元测试模块 Spring-test-4.0.0.RELEASE Core Continer:核心容器(IOC):黑色代表这部分的功能由哪些jar包组成:要使用这个部分的完整功能 ...
- SpringBoot自动装配,比较全的吧,来看看吧~
文章挺长,表达不好,希望能有获~~~~~~~ Spring也提供使用注解来注册bean,为什么要用SpringBoot呢? 使用Spring应用,比如SpringMVC还行需要配置ViewResolv ...
- python 迭代器,生成器,表达式
1.迭代器 (1)什么是迭代器: #迭代器即迭代的工具,那什么是迭代呢?#迭代是一个重复的过程,每次重复即一次迭代,并且每次迭代的结果都是下一次迭代的初始值 while True: #只是单纯地重复, ...
- Mybatis(一)Porxy动态代理和sql解析替换
JDK常用核心原理 概述 在 Mybatis 中,常用的作用就是讲数据库中的表的字段映射为对象的属性,在进入Mybatis之前,原生的 JDBC 有几个步骤:导入 JDBC 驱动包,通过 Driver ...
- java面试一日一题:讲下mysql中的undolog
问题:请讲下mysql中undo log的作用 分析:mysql中有很多日志,例,bin log undo log redo log,要弄清楚这些日志的作用,就要了解这些日志出现的背景及要解决的问题: ...
- 集群,lvs负载均衡的四种工作模式
集群 集群的三种分类以及用途 负载均衡: 分配流量(调度器),提升速度 高可用: 关键性业务 高性能: 开发算法,天气预报,国家安全 负载均衡的集群 lvs(适用于大规模) haproxy(适用于中型 ...
- jq 获取表单全部数据
jQuery Ajax 操作函数: serialize(): 将表单内容序列化为字符串 serializeArray():序列化表单元素,返回JASON数据 语法: $(selector).seria ...
- UVA10870递推关系(矩阵乘法)
题意: 给以个递推f(n) = a1 f(n - 1) + a2 f(n - 2) + a3 f(n - 3) + ... + ad f(n - d), for n > d.,给你n ...