在搭建ELK之前,首先要安装Redis和JDK,安装Redis请参考上一篇文章

首先安装JDK及配置环境变量

1.解压安装包到/usr/local/java目录下
[root@VM_0_9_centos ~]# tar xvf /ryt/soft/jdk-11.0.3_linux-x64_bin.tar.gz -C /usr/local/java/
2.配置环境变量(在尾部追加内容如下)
[root@VM_0_9_centos ~]# vim /etc/profile

export JAVA_HOME=/usr/local/java/jdk-11.0.3
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

3.重启配置文件,使其立即生效

[root@VM_0_9_centos ~]# source /etc/profile

ELK搭建详细过程

安装程序:filebeat,elasticsearch,logstash,kibana

1.安装Elasticsearch

1)解压安装包到路径/usr/local/elk下
[root@VM_0_9_centos ~]# tar -zxvf /ryt/soft/elk/elasticsearch-7.2.0-linux-x86_64.tar.gz -C /usr/local/elk/
2.创建用户并赋权

 [root@VM_0_9_centos elk]# useradd es_user

 [root@VM_0_9_centos elk]# groupadd esgroup

[root@VM_0_9_centos elk]# chown -R es_user:esgroup /usr/local/elk/elasticsearch-7.2.0/
3)修改ES配置文件:
[root@VM_0_9_centos elk]# vim /usr/local/elk/elasticsearch-7.2.0/config/elasticsearch.yml

#这里指定的是集群名称,需要修改为对应的,开启了自发现功能后,ES会按照此集群名称进行集群发现
cluster.name: elk-application
node.name: node-1

#目录需要手动创建
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs #ES监听地址
network.host: 0.0.0.0 #允许外网个访问
http.port: 9200

discovery.seed_hosts: ["172.17.0.9"] #内网ip
  cluster.initial_master_nodes: ["node-1"]

4)修改系统参数
#添加参数
vm.max_map_count=655360
注:ES启动的时候回占用特别大的资源所以需要修改下系统参数,若不修改资源启动会异常退出
[root@VM_0_9_centos elk]# vim /etc/sysctl.conf
5)重新载入配置
[root@VM_0_9_centos elk]# sysctl -p /etc/sysctl.conf
6)修改资源参数
[root@VM_0_9_centos elk]# vim /etc/security/limits.conf
修改内容
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

7)设置用户资源参数
[root@VM_0_9_centos elk]# vim /etc/security/limits.d/20-nproc.conf
#添加 
es_user    soft    nproc     65536

8)创建数据和日志目录并修改目录权限
[root@VM_0_9_centos elk]# mkdir -pv /usr/local/elk/{data,logs}
[root@VM_0_9_centos elk]# chown -R es_user:esgroup /data/elasticsearch/
[root@VM_0_9_centos elk]# chown -R es_user:esgroup /usr/local/elk/elasticsearch-7.2.0

9)切换用户并后台启动ES
[root@VM_0_9_centos elk]# su esuser
[es_user@VM_0_9_centos elk]$ /usr/local/elk/elasticsearch-7.2.0/bin/elasticsearch &

2.安装logstash

1.解压安装包并移到/usr/local/elk目录下
[root@VM_0_9_centos filebeat-7.2.0]# tar -zvxf /ryt/soft/elk/logstash-7.2.0.tar.gz -C /usr/local/elk/
2.创建软连接
[root@VM_0_9_centos elk]# ln -s /usr/local/elk/logstash-7.2.0 /usr/local/elk/logstash

注:Java HotSpot(TM) 64-Bit Server VM warning: 
INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed;
error='Not enough space' (errno=12)
[root@VM_0_9_centos elk]# vim ./elasticsearch-7.2.0/config/jvm.options
3.在/usr/local/elk/logstash/config/下新建文件logstash.config
内容如下:

input {
    redis {
      data_type => "list" #存储类型
      type => "redis-input"
      key => "logstash:redis" #key值,后面要与spring boot中key保持一致
      host => "localhost"
      port => 6379
     # threads => 5 #启动线程数量
    codec => "json"
   }
  }

output {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "springboot-elk" #index是定义将过滤后的日志推送到Elasticsearch后存储的名字
    }
    stdout { codec => rubydebug} #是否在控制台打印
  }

4.载入配置
[root@VM_0_9_centos config]# ../bin/logstash -f logstash-elasticsearch.conf -t

3.安装filebeat

1)解压安装包到路径/usr/local/elk下
[root@VM_0_9_centos elk]# tar xvf filebeat-7.2.0-linux-x86_64.tar.gz -C /usr/local/elk/

2)修改配置文件,使filebeat获取的日志进入redis:
注:此处演示获取spring cloud框架中eureka日志,其他程序日志都可相同方法获取

[root@VM_0_9_centos filebeat-7.2.0]# 
  [root@VM_0_9_centos filebeat-7.2.0]# pwd
   /usr/local/elk/filebeat-7.2.0
  [root@VM_0_9_centos filebeat-7.2.0]# vim ./filebeat.yml

 #修改的内容有一家几个字段
enabled:true
paths:程序日志路径

#output只能有一个
#output.logstash:
# hosts:["服务器IP:5044"]

output.redis:
  hosts:127.0.0.1 #redis所在服务器IP
  port:6379 #redis端口
3)设置开机启动
修改配置rc.local,后面追加 /usr/local/elk/filebeat-7.2.0/filebeat > /tmp/filebeat.log 2>&1
[root@VM_0_9_centos filebeat-7.2.0]# vim /etc/rc.local

4)后台启动filebeat
[root@VM_0_9_centos filebeat-7.2.0]# /usr/local/elk/filebeat-7.2.0/filebeat &

  5)查看启动,filebeat有没有监听端口,主要看日志和进程

[root@VM_0_9_centos filebeat-7.2.0]# ps -ef | grep filebeat

[root@VM_0_9_centos filebeat-7.2.0]# tailf logs/filebeat

  

4.启动logstash

测试一下logstash不指定配置文件启动
[root@VM_0_9_centos config]# /usr/local/elk/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
注:手动输入 hello world,它也会输出 hello world

5.安装kibana

1)解压安装包到路径/usr/local/elk下
[root@VM_0_9_centos ~]# tar -zxvf /ryt/soft/elk/kibana-7.2.0-linux-x86_64.tar.gz -C /usr/local/elk/

2)编辑kibana配置文件
[root@VM_0_9_centos ~]# vim /usr/local/elk/kibana-7.2.0/config/kibana.yml
   server.port: 5601
   server.host: "0.0.0.0"
   elasticsearch.hosts: ["http://49.234.206.139:9200"]
3)后台启动kibana
[root@VM_0_9_centos ~]# /usr/local/elk/kibana-7.2.0/bin/kibana --allow-root &

6.ELK logstash启动慢解决方案

使用如下命令查询
[root@VM_0_9_centos ~]# cat /proc/sys/kernel/random/entropy_avail 如果返回值小于1000, 那么就需要安装haveged包。
[root@VM_0_9_centos ~]# yum -y install haveged

我在安装了以后, logstash启动慢的问题解决,在10秒内启动。

参考链接:https://wiki.archlinux.org/index.php/Haveged_(%E7%AE%80%E4%BD%93%E4%B8%AD%E6%96%87)

Linux 搭建ELK日志收集系统的更多相关文章

  1. 快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana)

    快速搭建应用服务日志收集系统(Filebeat + ElasticSearch + kibana) 概要说明 需求场景,系统环境是CentOS,多个应用部署在多台服务器上,平时查看应用日志及排查问题十 ...

  2. 用ElasticSearch,LogStash,Kibana搭建实时日志收集系统

    用ElasticSearch,LogStash,Kibana搭建实时日志收集系统 介绍 这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中.kibana ...

  3. ELK 日志收集系统

    传统系统日志收集的问题 在传统项目中,如果在生产环境中,有多台不同的服务器集群,如果生产环境需要通过日志定位项目的Bug的话,需要在每台节点上使用传统的命令方式查询,这样效率非常底下. 通常,日志被分 ...

  4. 快速搭建ELK日志分析系统

    一.ELK搭建篇 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/ ...

  5. Kubernetes 系列(八):搭建EFK日志收集系统

    Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch.Fluentd 和 Kibana(EFK)技术栈,也是官方现在比较推荐的一种方案. Elasticsearch 是一个 ...

  6. Docker搭建EFK日志收集系统,并自定义es索引名

    EFK架构图 一.EFK简介 EFK不是一个软件,而是一套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志系统. EFK是三个开源软件的缩写,分 ...

  7. ELK日志收集系统搭建

     架构图 ELK  架构图:其中es 是集群,logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发),kibana是单机(用不着做成集群). 1.拓扑图 2.logstash ...

  8. Windows系统搭建ELK日志收集服务器

    一.ELK是什么?ELK是由Elasticsearch.Logstash.Kibana这3个软件的首字母缩写. Elasticsearch是一个分布式搜索分析引擎,稳定.可水平扩展.易于管理是它的主要 ...

  9. 十九,基于helm搭建EFK日志收集系统

    目录 EFK日志系统 一,EFK日志系统简介: 二,EFK系统部署 1,EFK系统部署方式 2,基于Helm方式部署EFK EFK日志系统 一,EFK日志系统简介: 关于系统日志收集处理方案,其实有很 ...

随机推荐

  1. 【移动自动化】【五】常用API

    常用API click: 点击 sendKeys: 输入内容 swipe: 滑动 TouchAction:这也是手势操作 github https://github.com/wangxiao9/app ...

  2. Xcode6在ios7上编译framework报错

    错误描述: dyld: Symbol not found: _OBJC_CLASS_$_UIPresentationController Referenced from: /var/mobile/Ap ...

  3. Linux 学习笔记04丨Linux的用户和用户组管理

    Chapter 3. 用户和用户组管理 由于Linux系统是一个多用户多任务的分时操作系统,任何一个要使用系统资源的用户,都必须首先向系统管理员申请一个账号,然后以该账号身份进入系统. 3.0 用户与 ...

  4. 电脑装MySQL免安装版配置失败提示系统错误2怎么解决?

    一·准备工作 我下载安装的版本是:mysql-8.0.16-winx64(免安装版) 下载地址:https://www.mysql.com/ (官网地址)https://cdn2.lmonkey.co ...

  5. dubbo协议之响应头编码器&响应对象编码

    前2节分析完了请求头和请求对象的编码,这里看一下响应头和响应对象的编码: 和请求头部一样进来先指定序列化器,没有的话用默认的Hessian2,接下来2个字节的操作和请求头编码类似,第三个字节时去req ...

  6. z-index失效原因分析——由一个bug引发的对层叠上下文和z-index属性的深度思考

    新年刚开工就被一个bug虐得整个人都不好了,特地记录下. (一)bug描述 在一个fixed-data-table(一个React组件)制作的表格中,需要给表头的字段提示的特效,所以做了一个提示层,但 ...

  7. 03-Python里字符串的常用操作方法二

    1.lstrip():删除左侧空白字符 实例: my_str = ' hello world and my and test and python ' # 原始字符串 print(my_str) # ...

  8. vs2019 Com组件初探-通过IDispatch接口调用Com

    vs2019 Com组件初探-简单的COM编写以及实现跨语言调用 上一篇实现了如何编写基于IDipatch接口的COM以及vbs如何调用编写的COM 本次主要是实现VBS的CreateObject函数 ...

  9. 11_SurfaceView绘图

    学习SurfaceView绘图API的使用方法,为接下来使用SurfaceView开发游戏做准备. 1 package com.example.surfaceview; 2 3 import andr ...

  10. JZOJ【NOIP2013模拟联考14】隐藏指令

    JZOJ[NOIP2013模拟联考14]隐藏指令 题目 Description 在d维欧几里得空间中,指令是一个长度为2N的串.串的每一个元素为d个正交基的方向及反方向之一.例如,d = 1时(数轴) ...