目录 背景 安装插件过程 背景 今天在使用logstash收集日志存储到mongodb的安装过程遇到了个错误,记录下来,错误就是下面这样: 配置文件很简单,由于是测试环境,命令行传入日志输入由ruby过滤一下内容,转换一个time属性的字符串日期为ISODate. input { stdin { } } filter { ruby { path => "/usr/local/etc/logstash/parse_json_records.rb" } date { match =&…

一.安装logstash 二.安装mongodb插件 cd D:\Software\ELK5.5.0\logstash-5.5.0\bin logstash-plugin install logstash-output-mongodb logstash-plugin install logstash-input-mongodb 要先装output再装input,不然会报mongo版本冲突 D:\Software\ELK5.5.0\logstash-5.5.0\bin\mongo\producti…

logstash 的output插件 nginx,logstash和redis在同一台机子上 yum -y install redis,vim /etc/redis.conf 设置bind 0.0.0.0 ,使redis监听在所有端口上 systemctl start redis.service, cd /etc/logstash/conf.d vim nglogredissample.conf input { file { path => ["/var/log/nginx/access.…

1.导入数据 批量导入数据并查看    1.1 导入数据   1) 使用POST方式批量导入数据,数据格式为json,url 编码使用data-binary导入含有index配置的json文件 ]# scp /var/ftp/elk/*.gz 192.168.1.66:/root/ kibana ~]# gzip -d logs.jsonl.gz  kibana ~]# gzip -d accounts.json.gz  kibana ~]# gzip -d shakespeare.json.g…

使用logstash的grok插件解析springboot日志 一.背景 二.解决思路 三.前置知识 四.实现步骤 1.准备测试数据 2.编写`grok`表达式 3.编写 logstash pipeline文件 4.查看运行结果 五.代码地址 六.参考网址 一.背景 我们的应用程序通常每天都会产生非常多的日志,这些日志大多都是一个字符串的格式,那么我们如果想从中提取一些有用的信息(比如:请求的时间.日志的级别等),那么应该如果实现呢? 二.解决思路 针对以上的问题,我们可以通过正则表达式来匹配我…

在外理日志时,除了访问日志外,还要处理运行时日志,该日志大都用程序写的,比如log4j.运行时日志跟访问日志最大的不同是,运行时日志是多行,也就是说,连续的多行才能表达一个意思. 在filter中,加入以下代码: filter { multiline {  } } 如果能按多行处理,那么把他们拆分到字段就很容易了. 字段属性: 对于multiline插件来说,有三个设置比较重要:negate , pattern 和 what negate:类型是boolean默认为false pattern:…

<pre name="code" class="html">[root@xxyy yum.repos.d]# yum install ruby Loaded plugins: refresh-packagekit, security Setting up Install Process Resolving Dependencies --> Running transaction check ---> Package ruby.x86_64 0…

grok表达式的打印复制格式的完整语法是下面这样的: %{PATTERN_NAME:capture_name:data_type}data_type 目前只支持两个值:int 和 float. 在线gork正则的地址:http://grokdebug.herokuapp.com/ Logstash基础正则地址:https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns 也可以在你的安装路径下查找grok-patte…

1. 列出logstash-plugins bin/logstash-plugin list****** logstash-output-kafkalogstash-output-nagioslogstash-output-nulllogstash-output-pagerdutylogstash-output-pipelogstash-output-rabbitmqlogstash-output-redis ****** 2. 根据output格式安装mongodb的output的plugin…

有些日志(比如apache)不像nginx那样支持json可以使用grok插件 grok利用正则表达式就行匹配拆分 预定义的位置在 /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns apache的在文件grok-patterns 查看官方文档 https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.ht…