1.IP规划

10.0.0.33:filebeat+tomcat,filebeat收集系统日志、tomcat日志发送到logstash

10.0.0.32:logstash,将日志写入reids(input、output)

10.0.0.31:redis,大量缓存数据

10.0.0.30:logstash,从redis取出数据写入es(input、output)

10.0.0.29:es+kibana,es接收传来的数据写入磁盘,等待kibana来取

a.10.0.0.33:filebeat输出到logstash

  1. vim /etc/filebeat/filebeat.yml
  2. filebeat.prospectors:
  3. - input_type: log
  4. paths:
  5. - /var/log/*.log
  6. - /var/log/messages
  7. exclude_lines: ['^DBG',"^$"]
  8. document_type: filebeat-systemlog-0033
  9. - input_type: log
  10. paths:
  11. - /usr/local/tomcat/logs/tomcat_access_log.*.log
  12. exclude_lines: ['^DBG',"^$"]
  13. document_type: tomcat-accesslog-0033
  14. output.logstash:
  15. hosts: ["10.0.0.32:5044"]
  16. enabled: true
  17. worker: 2
  18. compression_level: 3
  19.  
  20. systemctl restart filebeat

b.10.0.0.32:logstash将日志写入reids(向redis写数据不需要给key加日期)

  1. vim beats.conf
  2.  
  3. input {
  4. beats {
  5. port => "5044"
  6. }
  7. }
  8. output {
  9. if [type] == "filebeat-systemlog-0033" {
  10. redis {
  11. data_type => "list"
  12. host => "10.0.0.31"
  13. db => "3"
  14. port => "6379"
  15. password => "123456"
  16. key => "filebeat-systemlog-0033"
  17. }
  18. }
  19. if [type] == "tomcat-accesslog-0033" {
  20. redis {
  21. data_type => "list"
  22. host => "10.0.0.31"
  23. db => "4"
  24. port => "6379"
  25. password => "123456"
  26. key => "tomcat-accesslog-0033"
  27. }
  28. }
  29. }
  30.  
  31. systemctl restart logstash

c.10.0.0.31:redis不用做什么操作

d.10.0.0.30:logstash从redis取出数据写入es

  1. vim redis-es.conf
  2. input {
  3. redis {
  4. data_type => "list"
  5. host => "10.0.0.31"
  6. db => "3"
  7. port => "6379"
  8. key => "filebeat-systemlog-0033"
  9. password => "123456"
  10. }
  11. redis {
  12. data_type => "list"
  13. host => "10.0.0.31"
  14. db => "4"
  15. port => "6379"
  16. key => "tomcat-accesslog-0033"
  17. password => "123456"
  18. }
  19. }
  20.  
  21. output {
  22. if [type] == "filebeat-systemlog-0033" {
  23. elasticsearch {
  24. hosts => ["10.0.0.29:9200"]
  25. index => "redis31-systemlog-%{+YYYY.MM.dd}"
  26. }
  27. }
  28. if [type] == "tomcat-accesslog-0033" {
  29. elasticsearch {
  30. hosts => ["10.0.0.29:9200"]
  31. index => "tomcat-accesslog-0033-%{+YYYY.MM.dd}"
  32. }
  33. }
  34. }
  35. systemctl restart logstash

e.10.0.0.29:es+kibana

es插件页面出现这个日志索引时tomcat-accesslog-0033-xxxx.xx.xx,代表整个流程是通的.

ELK架构实用演示:http://blog.51cto.com/jinlong/2056717

ELK之filebeat收集多类型日志的更多相关文章

  1. ELK学习实验018:filebeat收集docker日志

    Filebeat收集Docker日志 1 安装docker [root@node4 ~]# yum install -y yum-utils device-mapper-persistent-data ...

  2. ELK学习实验016:filebeat收集tomcat日志

    filebeat收集tomcat日志 1 安装tomcat [root@node4 ~]# yum -y install tomcat tomcat-webapps tomcat-admin-weba ...

  3. Kubernetes部署ELK并使用Filebeat收集容器日志

    本文的试验环境为CentOS 7.3,Kubernetes集群为1.11.2,安装步骤参见kubeadm安装kubernetes V1.11.1 集群 1. 环境准备 Elasticsearch运行时 ...

  4. ELK学习实验017:filebeat收集java日志

    收集JAVA格式日志 1 查看Java格式日志 elasticsearch属于Java日志,可以收集elasticsearch作为Java日志范本 [root@node3 ~]# tail -f /u ...

  5. 关于elk中filebeat定义好日志输出,但是redis里面却没有输出内容的问题

    这两天在搞elk的时候,filebeat中指定输出日志至Broker(此处Broker采用redis作为缓存),但是redis中却没有内容,所以就开始排查来 filebeat采用RPM安装的方式来的. ...

  6. ELK整合Filebeat监控nginx日志

    ELK 日志分析 1. 为什么用到 ELK 一般我们需要进行日志分析场景:直接在日志文件中 grep. awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如 ...

  7. K8S 使用 SideCar 模式部署 Filebeat 收集容器日志

    对于 K8S 内的容器日志收集,业内一般有两种常用的方式: 使用 DaemonSet 在每台 Node 上部署一个日志收集容器,用于收集当前 Node 上所有容器挂载到宿主机目录下的日志 使用 Sid ...

  8. Filebeat 收集K8S 日志,生产环境实践

    根据生产环境要求,需要采集K8Spod 日志,和开发协商之后,pod中应用会将日志输出到容器终端上,这时可以直接用filebeat 采集node节点上面的/var/log/containers/*.l ...

  9. 第十一章·Filebeat-使用Filebeat收集日志

    Filebeat介绍及部署 Filebeat介绍 Filebeat附带预构建的模块,这些模块包含收集.解析.充实和可视化各种日志文件格式数据所需的配置,每个Filebeat模块由一个或多个文件集组成, ...

随机推荐

  1. Diycode开源项目 SettingActivity分析

    1.整体效果预览及布局分析 1.1.设置界面预览 1.2.主体对应关系 注意这里的线条用ImageView来实现 有一个TextView是检查更新,默认隐藏,具体出现时间还得之后确认. 最后一个Lin ...

  2. RxJava Rxandroid retrofit

    其实Retrofit会了.集合RxJava,RxAndroid 就很简单了. 只需要改几个地方. 1.接口里面返回的对象不再是 call,而是Observable public interface A ...

  3. hadoop伪分布式集群的搭建

    集群配置: jdk1.8.0_161 hadoop-2.6.1 linux系统环境:Centos6.5 创建普通用户  dummy 设置静态IP地址 Hadoop伪分布式集群搭建: 为普通用户添加su ...

  4. Understanding on 'Error to Origin (50x)' , 'Internal CDN Error (50x)' and 'External Error (50x)' in Chartron

    Overview This document explains about definition of these values on OUI Chartron. Definition of Erro ...

  5. xml文件的生成

    关于android中自定义xml文件的生成,请看示例代码(主要来源于黑马教程): import java.io.File; import java.io.FileNotFoundException; ...

  6. IOS开发学习笔记032-UITableView 的编辑模式

    UITableView 的三种编辑模式 1.删除 2.排序 3.添加 进入编辑模式,需要设置一个参数 - (IBAction)remove:(UIBarButtonItem *)sender { NS ...

  7. Python中@property和@classmethod和@staticmethod

    前戏 首先,先要弄清楚一个类里面的,各个组成部分都应该怎么称呼. - 注:可能叫法会不太一样. 关于@property 顾名思义:它的意思为‘属性’. 作用: 1:使用它你将会把类方法,变为类属性.并 ...

  8. C# 方法重载 overload、方法重写 override、隐藏 new

    一.重载:同一个作用域内发生(比如一个类里面),定义一系列同名方法,但是方法的参数列表不同.这样才能通过传递不同的参数来决定到底调用哪一个. 值得注意的是,方法重载只有通过参数不同来判断调用哪个方法, ...

  9. manjaro安装anaconda出错

    出错信息: ==> Creating package "anaconda"...  -> Generating .PKGINFO file...  -> Gene ...

  10. PAT1021

    给定一个k位整数N = dk-1*10k-1 + ... + d1*101 + d0 (0<=di<=9, i=0,...,k-1, dk-1>0),请编写程序统计每种不同的个位数字 ...