场景 将应用日志文件发送到rabbitmq. filebeat 不支持rabbitmq作为输出.因此,需要先将文件由filebeat发送到logstash ,再由logstash 输出到rabbitmq.   logstash 配置 /etc/logstash/conf.d/目录下创建任意  .conf 文件 #输入,输入源为filebeat input { beats { port => 5044 } } #过滤无用字段,仅保留message内容 filter { mutate { remov

使用Logstash通过Rabbitmq接收Serilog日志到ES 首先,要部署logstash 为了与前面的ElasticSearch版本保持一致,此处Logstash下载的版本也是7.13.1,下载地址: https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip 解压以后,修改一些配置: 在config目录下,修改jvm.options文件,设置内存占用最小值和最大值:如果配置比较低

目标:将json格式的两类日志输出到elasticsearch两类索引 1. 安装logstash. 2. 编写logstash处理配置文件,创建一个test.conf文件,内容如下: input { file { path => "/home/vagrant/logstash/logstash-2.2.2/dbpool-logs/dev/common-sql-*.log" start_position => "beginning" type =>

最常用的两个输出插件: redis es 一.redis 1.用法 output { redis{ batch => false batch_events => 50 batch_timeout => 5 codec => plain congestion_interval => 1 congestion_threshold => 0 data_type => list db => 0 host => ["127.0.0.1:6379&quo

续上一篇 上一篇描述了通过logback配置用logstash收集springmvc项目日志,本文是描述如何进一步通过elasticsearch对所收集数据进行的分析. output { elasticsearch { action => "index" hosts => "127.0.0.1:9200"#es地址 index => "my_log"#在es中的索引 } # 这里输出调试,正式运行时可以注释掉 stdout {

用了这个logstash扩展 https://github.com/PeterPaulH/logstash-influxdb/blob/master/src/influxdb.rb 把这个文件放到 logstash-1.4.2/lib/logstash/outputs 看一下午logstash的文档,终于解决了自己的需求 用python描述就是这样的 开发要求统计日志中各种类型的数量 while True: line = f.readline() try: if '"type":&qu

由于es 单index 所能承受的数据量有限,之前情况是到400w数据300G左右的时候,整个数据的插入会变得特别慢(索引重建)甚至会导致集群之间的通信断开,于是我们采用每天一个index的方法来缓解压力,logstash 默认是支持每天产生索引的默认名为 logstash-yyyy.MM.dd 那么我们怎么才能重命名它呢,或者当我们有多个logstash实例的时候怎么才能让他们分别开来. 其实logstash的es  output中  有几个参数是控制此选项的: index => "dy

1.Logstash与Redis的读写 1.1 Logstash 写入Redis 看完Logstash的输入,想必大家都清楚了Logstash的基本用法,那就是写配置文件. output{ { redis { host => ["127.0.0.1:6379"] #这个是标明redis服务的地址 port => 6379 codec => plain db => 0 #redis中的数据库,select的对象 key => #redis中的键值 data_

位置 在Logstash的.conf配置文件中的output中配置ElasticSearch 示例: output { elasticsearch{ action => "index" index => "%{[fields][product_type]}-transaction-%{+YYYY-MM}" hosts => ["10.0.xx.xx:9200", "10.0.xx.xx:9200", &quo

1.springboot项目pom.xml文件下添加如下配置 2.resources目录下创建logback-spring.xml文件 <?xml version="1.0" encoding="UTF-8"?> <!--该日志将日志级别不同的log信息保存到不同的文件中 --> <configuration> <include resource="org/springframework/boot/logging/

filebeat配置文件: filebeat.inputs: - type: log enabled: true paths: - /opt/hkd-cloud/hkd-custom/hkd-custom.out fields: log_source: test_custom fields_under_root: true logstash输出到es output { elasticsearch { hosts => ["http://172.17.107.187:9203",

场景: 1) datasource->logstash->elasticsearch->kibana 2) datasource->filebeat->logstash-> elasticsearch->kibana 3) datasource->filebeat->logstash->redis/kafka->logstash-> elasticsearch->kibana 4) kafka->logstash->

为了达到不会因为ELK中的某一项组件因为故障而导致整个ELK工作出问题,于是 将logstash收集到的数据存入到消息队列中如redis,rabbitMQ,activeMQ或者kafka,这里以redis为例进行操作 首先将需要收集的日志数据通过logstash收集到redis中,这里需要用到output的redis插件了: 1.安装redis,这里采用yum安装,存在于epel源 2.修改redis配置 [root@node3 ~]# egrep -v "^#|^$" /etc/re

ELKF应用场景: 1) datasource->logstash->elasticsearch->kibana 2) datasource->filebeat->logstash-> elasticsearch->kibana 3) datasource->filebeat->logstash->redis/kafka->logstash-> elasticsearch->kibana 4) kafka->logstas

在kubernetes集群中部署logstash步骤如下: 1:logstash安装文件(目前最新版本2.3.4): 2:编写Dockerfile及执行点脚本文件run.sh,并且修改logstash conf文件,配置为消费指定rabbitmq queue,并持久化消息至目标elasticsearch集群,制作logstash镜像: 3:推送镜像至某个Docker源,可以是公网的源,也可以是公司内部源: 4:在kubernetes主节点编写logstash镜像对应的RC文件: 5:在kuber

logstash 正则调试: nginx 配置: log_format main '$remote_addr [$time_local] "$request" '; logstash: "message" =>"%{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\"&q

nginx 配置: http { include mime.types; default_type application/octet-stream; log_format main '$http_host $server_addr $remote_addr [$time_local] "$request" ' '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent

一:文档 官方文档地址:1.x版本和2.x版本 https://www.elastic.co/guide/en/elasticsearch/guide/index.html 硬件要求: 1.内存,官方推荐64G,但是自己使用32G或16G也可以 2.CPU,核心越多越好 3.硬盘,越快越好,不建议使用NAS网络存储,官方建议使用RAID 0 4.网络,千兆或以上 5.JVM,建议使用比较新的版本,可以是openJDK或oracle的Java JDK 6.文件描述符,即可以打开的最大文件数,一定要

[TOC] 本文只讨论linux下的Rabbitmq安装. Erlang安装 rabbitmq依赖于Erlang,需先安装,推荐安装rabbitmq/erlang-rpm: #clone源码 git clone https://github.com/rabbitmq/erlang-rpm.git #make cd erlang-rpm make #需要等待较长时间 cd RPMS/x86_64 #其下有两个rpm包 erlang-19.3.6-1.alios6.x86_64.rpm erlang

先说背景,由于本人工作需要创建很多小应用程序,而且在微服务的大环境下,服务越来越多,然后就导致日志四分五裂,到处都有,然后就有的elk,那么问题来了 不能每个小应用都配置一个 logstash 服务来传输日志吧,把所有的日志都 输送到一个logstash里面  然后logstash会都输送到一个索引下(之前不知道怎么配),输送到同一个所以下 那么问题又来了,首先每个小服务程序日志量不大希望持续监控,也不需要用时间来分割(因为日志量不大),又希望查询方便(不要告诉我查询的时候多一个筛选条件就可以了