一、安装与启动

Logstash 依赖 Java 8 或者 Java 11，需要先安装 JDK

1.1 下载

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.0.rpm

1.2 安装

sudo rpm -i logstash-7.7.0.rpm

Logstash 的目录结构见：Directory Layout of Debian and RPM Packages

1.3 修改配置(根据需要执行)

修改 /etc/logstash/logstash.yml 配置：

config.reload.automatic : true

这样修改配置文件后，不需要重启 Logstash

1.4 启动

sudo systemctl start logstash.service

1.5 测试启动

cd /usr/share/logstash

sudo bin/logstash -e 'input { stdin { } } output { stdout {} }'

然后输入：hello world，可以看到下面的输出：

{

      "@version" => "1",

          "host" => "localhost.localdomain",

       "message" => "hello world",

    "@timestamp" => 2020-05-29T23:16:52.686Z

}

二、使用

2.1 新建配置文件

cd /etc/logstash/conf.d/

vi weblog.conf

weblog.conf 的内容为：

input {

  tcp {

    port => 9900

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

配置文件的含义是监听 9900 端口的输入，并保存到 /project/logs/logstashtest.log

2.2 使用

echo 'hello logstash' | nc localhost 9900

`

查看 /usr/local/logstash/test.log 的内容，可以看到类似如下内容：

{

    "message":"hello logstash",

    "@timestamp":"2020-05-30T19:08:34.043Z",

    "host":"localhost",

    "port":47332,

    "@version":"1"

}

三、过滤器

先下载测试使用的数据：weblog-sample.log，内容是一个 log 文件，格式如下：

14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/ HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"

3.1 grok

修改配置文件 weblog.conf：

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

%{COMBINEDAPACHELOG} 是 Logstash 自带的匹配模式，读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:31:37.309Z",

    "port":47428,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

通过 grok 使用正则表达式将非结构化的数据转换为结构化的数据

3.2 geoip

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:44:17.084Z",

    "port":47436,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

geoip 将 IP 地址转换为地理位置等信息

Kibana 自带了 grok 调试工具，可以在 Dev Tools 中 Grok Debugger 调试

3.3 useragent

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:58:17.848Z",

    "port":47444,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "useragent":{

        "minor":"6",

        "major":"3",

        "build":"",

        "device":"Other",

        "os_name":"Windows",

        "patch":"b1",

        "name":"Firefox Beta",

        "os":"Windows"

    },

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

useragent 解析浏览器及操作系统信息

3.4 date

Logstash 将事件时间存储在 @timestamp 字段中，但 weblog-sample.log 创建时间在 timestamp 字段中，该字段的格式不是 ISO8601，可以使用 date 过滤器将此字段转换为日期类型

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

  date {

    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2019-05-12T01:24:44.000Z",

    "port":47450,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "useragent":{

        "minor":"6",

        "major":"3",

        "build":"",

        "device":"Other",

        "os_name":"Windows",

        "patch":"b1",

        "name":"Firefox Beta",

        "os":"Windows"

    },

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

四、输出

将数据输出到 Elasticsearch：

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

  date {

    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

  elasticsearch {

    hosts => ["localhost:9200"]

  }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

打开 Kibana 在 Dev Tools 输入命令：

GET logstash/_search

可以看到从 Logstash 导入的数据

参考

浅尝 Elastic Stack (二) Logstash的更多相关文章

浅尝 Elastic Stack (三) Logstash + Beats
本文使用 Filebeat,如果没有安装需要安装: curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat- ...
浅尝 Elastic Stack (五) Logstash + Beats + Kafka
在 Elasticsearch.Kibana.Beats 安装中讲到推荐架构: 本文基于 Logstash + Beats 读取 Spring Boot 日志将其改为上述架构如果没有安装 Kaf ...
浅尝 Elastic Stack (四) Logstash + Beats 读取 Spring Boot 日志
一.Spring Boot 日志配置采用 Spring Boot 默认的 Logback: <?xml version="1.0" encoding="UTF-8 ...
浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...
Elastic Stack之Logstash进阶
Elastic Stack之Logstash进阶作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用GeoLite2和logstash 过滤插件的geoip案例 1>. ...
浅尝Java（二、代码折叠插件的使用）
主题:eclipse代码折叠插件的使用. 工作中在使用eclipse开发Java项目时,我们会写很多if,for循环啊什么的,这使得我们的项目代码会有很多很多行.写完后要想检查或者查看,就要从头一行一 ...
Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana
Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...
Elastic Stack（ElasticSearch 、 Kibana 和 Logstash）实现日志的自动采集、搜索和分析
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...
浅尝key-value数据库（二）——MongoDB的优与劣
浅尝key-value数据库(二)——MongoDB的优与劣 MongoDB的名字取自英文单词"humongous"的中间五个字母,是一个C++开发的基于分布式文件存储的数据库开源 ...

随机推荐

Hash 哈希(上)
Hash 哈希(上) 目录 Hash 哈希(上) 简介 Hash函数的构造取余法乘积取整法其他方法冲突的处理挂链法开放定址法线性探查法二次探查法双哈希法结语简介 Hash,又称散 ...
php映射echarts柱状图
多种样式柱状图前台部分 <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...
ubuntu 17.10 安装QQ
折腾一大堆看报错信息正在选中未选择的软件包 wine-qqintl:i386.(正在读取数据库 ... 系统当前共安装有 185429 个文件和目录.)正准备解包 wine-qqintl_0.1. ...
Ubuntu 18.04.2 LTS美化方案
Ubuntu 18.04.2 LTS美化方案记录根据个人经验,我将Ubuntun美化分为四个部分:1)桌面:2)对话框界面:3)图标:4)登录及锁屏界面:5)终端.由于Ubuntu系统默认采用GNO ...
php 获取时间相差的月份和天数
function getMonthAndDay($date1,$date2){ $datestart= date('Y-m-d',strtotime($date1)); if(strtotime($d ...
【转】linux自测题
一．填空题: 1. 在Linux系统中,以文件方式访问设备. 2. Linux内核引导时,从文件 /etc/fstab 中读取要加载的文件系统. 3. Linux文件系统中每个文件用 i节点来标 ...
Gromacs命令-Chapter1
Gromacs的命令非常多,下面我将我最近用到的先总结一下.标题上也写了这只是Chapter1,以后有新的会继续写Chapter2...等等. 下面这个网址http://manual.gromacs. ...
tcp ESTABLISHED 接收数据
tcp_rcv_established函数的工作原理是把数据包的处理分为2类:fast path和slow path,其含义显而易见.这样分类的目的当然是加快数据包的处理,因为在正常情况下,数据包是按 ...
linux绑定盘符
[root@centos6 ~]# udevadm info -q path -n /dev/sdb [root@centos6 ~]# udevadm info -q path -n /dev/sd ...
centos下多网卡做bond脚本
多网卡或者单网卡形式下的网卡bonding #! /bin/sh #获取当前网卡数 ethnum=`lspci | grep Ethernet | wc -l` echo $ethnum #如果网卡数 ...

浅尝 Elastic Stack (二) Logstash

一、安装与启动

1.1 下载

1.2 安装

1.3 修改配置(根据需要执行)

1.4 启动

1.5 测试启动

二、使用

2.1 新建配置文件

2.2 使用

三、过滤器

3.1 grok

3.2 geoip

3.3 useragent

3.4 date

四、输出

浅尝 Elastic Stack (二) Logstash的更多相关文章

随机推荐

热门专题