1.系统架构

通常我们说的elastic stack,也就是elk,通过es 收集日志数据,存到elasticsearch,最后通过kibana进行统计分析,但是elastic公司后续又推出了新的日志收集产品beats,这里更推荐使用beats,性能更高

2.搭建es

 2.1 创建docker 网络,用于不同容器间通信

之前常用--link container_name,因后面--link会被官方舍弃,故改用network方式

docker network creat efknetwork

docker search elasticsearch

docker pull elasticsearch:7.13.0(这里需要加上版本号)

2.2 启动es

docker run -idt \

--restart=always \

--name elasticsearch \

-e ES_JAVA_POTS="-Xms512m -Xmx512m"

-p 9200:9200 \

--net efknetwork \

-e "discovery.type=single-node" \

elasticsearch:7.13.0

2.3 将配置文件copy出来,方便后续更改配置

docker cp elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml

2.4 重启es,映射配置文件

docker run -idt \

--restart=always \

--name elasticsearch \

-e ES_JAVA_POTS="-Xms512m -Xmx512m"

-p 9200:9200 \

--net efknetwork \

-v /home/workspace/elk/elasticsearch/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \

-e "discovery.type=single-node" \

elasticsearch:7.13.0

2.5 查看es启动情况

http://192.168.0.101:9200/

3.搭建kibana

docker pull kibana:7.13.0

3.1 启动kibana

docker run -idt \

    --restart=always \

    --name kibana \

    --net efknetwork \

    -p 5601:5601 \

    -e "I18N_LOCALE=zh-CN" \

    kibana:7.13.0

3.2 将配置文件copy出来,方便后面更改

docker cp kibana:/usr/share/kibana/config/kibana.yml /home/workspace/elk/kibana/config

3.3 更改kibana.yml配置文件

server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"

这里直接使用容器名,默认的network只能使用ip地址,而新创建的network使用容器名,可以自动解析,默认是英文界面,zh-CN改为中文

3.4 重启kibana

docker run -idt \

    --restart=always \

    --name kibana \

    --net efknetwork \

    -v /home/workspace/elk/kibana/config:/config \

    -p 5601:5601 \

    -e "I18N_LOCALE=zh-CN" \

    kibana:7.13.0

3.5 查看kibana启动情况

http://192.168.0.101:5601

4.搭建logstash

docker pull logstash:7.13.0

4.1 创建需要映射的配置文件logstash.conf 和 logstash.yml

logstash.conf

logstash.yml

说明:

logstash.yml:用于挂载logstash相关配置

logstash.conf:用于挂载logstash日志处理配置文件

4.2 启动logstash

docker run  -idt \

    --restart=always \

    -p 5044:5044 \

    --name logstash \

    --net efknetwork \

    -v /home/workspace/elk/logstash/config/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \

    -v /home/workspace/elk/logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml \

    logstash:7.13.0

4.3 查看日志收集情况

docker logs logstash

5.搭建filebeat

docker pull filebeat:7.13.0

5.1 创建需要映射的配置文件filebeat.docker.yml

大致结构

以mysql慢查询为例,简单配置以示效果

这里为什么不去容器内修改配置文件呢?因为filebeat容器内的配置文件是只读的不可更改,所以只能通过映射配置文件的方式修改

5.2 启动filebeat

docker run -idt \

    --restart=always \

    -v /home/workspace/elk/filebeat/conf/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro \

    -v /home/mysql/log:/var/log/filebeat:rw \

    --name filebeat \

    --net efknetwork \

    -e setup.kibana.host=192.168.0.101:5601 \

    elastic/filebeat:7.13.0

5.3 查看filebeat启动情况

docker logs filebeat

 5.4 检验是否收集所需日志

在收集日志的目录下面添加日志文件,或者更新日志,然后去kibana查看是否有filebeat的索引生成,我在这里生成一个mysql慢查询日志,mysql_slow.log

可以通过搜索或者日期,字段进行筛选

docker efk(filebeat+logstash+es+kibana)的更多相关文章

  1. filebeat -> logstash -> elasticsearch -> kibana ELK 日志收集搭建

    Filebeat 安装参考 http://blog.csdn.net/kk185800961/article/details/54579376 elasticsearch 安装参考http://blo ...

  2. Nginx filebeat+logstash+Elasticsearch+kibana实现nginx日志图形化展示

    filebeat+logstash+Elasticsearch+kibana实现nginx日志图形化展示   by:授客  QQ:1033553122   测试环境 Win7 64 CentOS-7- ...

  3. Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台

    对于ELK还不太熟悉的同学可以参考我前面的两篇文章ElasticSearch + Logstash + Kibana 搭建笔记.Log stash学习笔记(一),本文搭建了一套专门访问Apache的访 ...

  4. logstash+es+kibana+redis搭建

    环境信息: CentOS 6.5 redis 3.0.4 logstash elasticsearch kibana 服务端ip:192.168.0.65 客户端ip:192.168.0.66 关系结 ...

  5. Elasticsearch核心技术(1)--- Docker容器中运行ES、Kibana、Cerebro

    Docker容器中运行ES,Kibana,Cerebro和Logstash安装与数据导入ES 想加强ES有关的知识,看了阮一鸣老师讲的<Elasticsearch核心技术与实战>收获很大, ...

  6. 0415关于通过FILEBEAT,LOGSTASH,ES,KIBNA实现数据的采集

    如何通过FILEBEAT,LOGSTASH,ES,KIBNA实现数据的采集总体参考网址:https://www.olinux.org.cn/elk/1157.html官方网址:https://www. ...

  7. ELK搭建(filebeat、elasticsearch、logstash、kibana)

    ELK部署(文章有点儿长,搭建时请到官网将tar包下载好,按步骤可以完成搭建使用) ELK指的是ElasticSearch.LogStash.Kibana三个开源工具 LogStash是负责数据的收集 ...

  8. 使用docker部署filebeat和logstash

    想用filebeat读取项目的日志,然后发送logstash.logstash官网有相关的教程,但是docker部署的教程都太简洁了.自己折腾了半天,踩了不少坑,总算是将logstash和filebe ...

  9. Docker Compose部署 EFK(Elasticsearch + Fluentd + Kibana)收集日志

    简述 本文用于记录如何使用Docker Compose部署 EFK(Elasticsearch + Fluentd + Kibana) 收集Docker容器日志,使用EFK,可以无侵入代码,获得灵活, ...

随机推荐

  1. 徒手撸一个简单的RPC框架

    来源:https://juejin.im/post/5c4481a4f265da613438aec3 之前在牛逼哄哄的 RPC 框架,底层到底什么原理得知了RPC(远程过程调用)简单来说就是调用远程的 ...

  2. 刷题-力扣-337. 打家劫舍 III

    337. 打家劫舍 III 题目链接 来源:力扣(LeetCode) 链接:https://leetcode-cn.com/problems/house-robber-iii 著作权归领扣网络所有.商 ...

  3. 学习 Webpack5 之路(优化篇)

    一.前言 从 0 到 1 学习的朋友可参考前置学习文章: 学习 Webpack5 之路(基础篇) 学习 Webpack5 之路(实践篇) 前置文章 学习 Webpack5 之路(基础篇) 对 webp ...

  4. Python3-sqlalchemy-orm 联表查询-无外键关系

    #-*-coding:utf-8-*- #__author__ = "logan.xu" import sqlalchemy from sqlalchemy import crea ...

  5. k8s笔记0528-基于KUBERNETES构建企业容器云手动部署集群记录-5

    1.为Flannel生成证书 [root@linux-node1 ~]# vim flanneld-csr.json { "CN": "flanneld", & ...

  6. etcd学习(8)-etcd中Lease的续期

    etcd中的Lease 前言 Lease Lease 整体架构 key 如何关联 Lease Lease的续期 过期 Lease 的删除 checkpoint 机制 总结 参考 etcd中的Lease ...

  7. C++11多线程编程

    1. 多线程编程 在进行桌面应用程序开发的时候, 假设应用程序在某些情况下需要处理比较复杂的逻辑, 如果只有一个线程去处理,就会导致窗口卡顿,无法处理用户的相关操作.这种情况下就需要使用多线程,其中一 ...

  8. Python - 通过PyYaml库操作YAML文件

    PyYaml简单介绍 Python的PyYAML模块是Python的YAML解析器和生成器 它有个版本分水岭,就是5.1 读取YAML5.1之前的读取方法 def read_yaml(self, pa ...

  9. jooq使用示例

    一.说明 最近使用的项目,采用了jooq. 通过学习api文档和自我调试,写了一些代码,在此处进行记录. 二.代码 一切尽在代码中-- 参考文档:http://www.jooq.org/doc/3.1 ...

  10. 批量ip段/子网转换

    #coding=utf-8 import re import struct from sys import argv class CIDRHelper(object): def ipFormatChk ...