一、安装与启动

Logstash 依赖 Java 8 或者 Java 11，需要先安装 JDK

1.1 下载

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.0.rpm

1.2 安装

sudo rpm -i logstash-7.7.0.rpm

Logstash 的目录结构见：Directory Layout of Debian and RPM Packages

1.3 修改配置(根据需要执行)

修改 /etc/logstash/logstash.yml 配置：

config.reload.automatic : true

这样修改配置文件后，不需要重启 Logstash

1.4 启动

sudo systemctl start logstash.service

1.5 测试启动

cd /usr/share/logstash

sudo bin/logstash -e 'input { stdin { } } output { stdout {} }'

然后输入：hello world，可以看到下面的输出：

{

      "@version" => "1",

          "host" => "localhost.localdomain",

       "message" => "hello world",

    "@timestamp" => 2020-05-29T23:16:52.686Z

}

二、使用

2.1 新建配置文件

cd /etc/logstash/conf.d/

vi weblog.conf

weblog.conf 的内容为：

input {

  tcp {

    port => 9900

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

配置文件的含义是监听 9900 端口的输入，并保存到 /project/logs/logstashtest.log

2.2 使用

echo 'hello logstash' | nc localhost 9900

`

查看 /usr/local/logstash/test.log 的内容，可以看到类似如下内容：

{

    "message":"hello logstash",

    "@timestamp":"2020-05-30T19:08:34.043Z",

    "host":"localhost",

    "port":47332,

    "@version":"1"

}

三、过滤器

先下载测试使用的数据：weblog-sample.log，内容是一个 log 文件，格式如下：

14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/ HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"

3.1 grok

修改配置文件 weblog.conf：

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

%{COMBINEDAPACHELOG} 是 Logstash 自带的匹配模式，读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:31:37.309Z",

    "port":47428,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

通过 grok 使用正则表达式将非结构化的数据转换为结构化的数据

3.2 geoip

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:44:17.084Z",

    "port":47436,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

geoip 将 IP 地址转换为地理位置等信息

Kibana 自带了 grok 调试工具，可以在 Dev Tools 中 Grok Debugger 调试

3.3 useragent

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2020-05-30T22:58:17.848Z",

    "port":47444,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "useragent":{

        "minor":"6",

        "major":"3",

        "build":"",

        "device":"Other",

        "os_name":"Windows",

        "patch":"b1",

        "name":"Firefox Beta",

        "os":"Windows"

    },

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

useragent 解析浏览器及操作系统信息

3.4 date

Logstash 将事件时间存储在 @timestamp 字段中，但 weblog-sample.log 创建时间在 timestamp 字段中，该字段的格式不是 ISO8601，可以使用 date 过滤器将此字段转换为日期类型

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

  date {

    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

得到输出类似如下：

{

    "geoip":{

        "longitude":126.97409999999999,

        "ip":"14.49.42.25",

        "country_name":"South Korea",

        "country_code3":"KR",

        "country_code2":"KR",

        "location":{

            "lon":126.97409999999999,

            "lat":37.5112

        },

        "latitude":37.5112,

        "continent_code":"AS",

        "timezone":"Asia/Seoul"

    },

    "request":"/articles/ppp-over-ssh/",

    "@timestamp":"2019-05-12T01:24:44.000Z",

    "port":47450,

    "host":"localhost",

    "timestamp":"12/May/2019:01:24:44 +0000",

    "response":"200",

    "referrer":"\"-\"",

    "ident":"-",

    "useragent":{

        "minor":"6",

        "major":"3",

        "build":"",

        "device":"Other",

        "os_name":"Windows",

        "patch":"b1",

        "name":"Firefox Beta",

        "os":"Windows"

    },

    "@version":"1",

    "verb":"GET",

    "clientip":"14.49.42.25",

    "message":"14.49.42.25 - - [12/May/2019:01:24:44 +0000] \"GET /articles/ppp-over-ssh/ HTTP/1.1\" 200 18586 \"-\" \"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\"",

    "auth":"-",

    "httpversion":"1.1",

    "bytes":"18586",

    "agent":"\"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5\""

}

四、输出

将数据输出到 Elasticsearch：

input {

  tcp {

    port => 9900

  }

}

filter {

  grok {

    match => { "message" => "%{COMBINEDAPACHELOG}" }

  }

  geoip {

    source => "clientip"

  }

  useragent {

    source => "agent"

    target => "useragent"

  }

  date {

    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]

  }

}

output {

  file {

    path => "/project/logs/logstashtest.log"

    }

  elasticsearch {

    hosts => ["localhost:9200"]

  }

}

读入 weblog-sample.log 的第一行数据：

head -n 1 weblog-sample.log | nc localhost 9900

打开 Kibana 在 Dev Tools 输入命令：

GET logstash/_search

可以看到从 Logstash 导入的数据

参考

浅尝 Elastic Stack (二) Logstash的更多相关文章

浅尝 Elastic Stack (三) Logstash + Beats
本文使用 Filebeat,如果没有安装需要安装: curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat- ...
浅尝 Elastic Stack (五) Logstash + Beats + Kafka
在 Elasticsearch.Kibana.Beats 安装中讲到推荐架构: 本文基于 Logstash + Beats 读取 Spring Boot 日志将其改为上述架构如果没有安装 Kaf ...
浅尝 Elastic Stack (四) Logstash + Beats 读取 Spring Boot 日志
一.Spring Boot 日志配置采用 Spring Boot 默认的 Logback: <?xml version="1.0" encoding="UTF-8 ...
浅尝 Elastic Stack (一) Elasticsearch、Kibana、Beats 安装
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash,也称为 ELK Stack.能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据进 ...
Elastic Stack之Logstash进阶
Elastic Stack之Logstash进阶作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.使用GeoLite2和logstash 过滤插件的geoip案例 1>. ...
浅尝Java（二、代码折叠插件的使用）
主题:eclipse代码折叠插件的使用. 工作中在使用eclipse开发Java项目时,我们会写很多if,for循环啊什么的,这使得我们的项目代码会有很多很多行.写完后要想检查或者查看,就要从头一行一 ...
Elastic Stack核心产品介绍-Elasticsearch、Logstash和Kibana
Elastic Stack 是一系列开源产品的合集,包括 Elasticsearch.Kibana.Logstash 以及 Beats 等等,能够安全可靠地获取任何来源.任何格式的数据,并且能够实时地 ...
Elastic Stack（ElasticSearch 、 Kibana 和 Logstash）实现日志的自动采集、搜索和分析
Elastic Stack 包括 Elasticsearch.Kibana.Beats 和 Logstash(也称为 ELK Stack).能够安全可靠地获取任何来源.任何格式的数据,然后实时地对数据 ...
浅尝key-value数据库（二）——MongoDB的优与劣
浅尝key-value数据库(二)——MongoDB的优与劣 MongoDB的名字取自英文单词"humongous"的中间五个字母,是一个C++开发的基于分布式文件存储的数据库开源 ...

随机推荐

NOI2020D1T1美食家
传送门:QAQQAQ 完了完了NOI签到题全班打不出来,真就全部成为时代的眼泪了... 首先$O(mT)$的$dp$显然,然后因为$T$很大$w$很小矩阵快速幂显然,但是有$k=200$卡不过去. 然 ...
.NET Core 跨平台资源监控库及 dotnet tool 小工具
目录简介 dotnet tool 体验 CZGL.SystemInfo SystemPlatformInfo ProcessInfo 内存监控 NetworkInfo DiskInfo 简介 CZG ...
read函数
ssize_t read(int fildes, void *buf, size_t nbyte); 返回值: > 0: 实际读到的字节数 = 0: 读完数据(读文件, 管道, socket末尾 ...
Servlet基础使用总结
Servlet通俗理解:主要功能在于交互式地浏览和生成数据,生成动态Web内容.Servlet运行于支持Java的应用服务器中.从原理上讲,Servlet可以响应任何类型的请求,但绝大多数情况下Ser ...
《精通Spring4.x企业应用开发实战》第三章
这一章节主要介绍SpringBoot的使用,也是学习的重点内容,之后就打算用SpringBoot来写后台,所以提前看一下还是很有必要的. 3.SpringBoot概况 3.1.1SpringBoot发 ...
Qt基础之菜单栏
本篇介绍Qt菜单栏相关操作,分为三部分:1.菜单栏相关的类介绍:2.系统菜单的生成和响应:3.弹出菜单的生成和响应:菜单栏通常只有以QMainWindow为基类的程序中才用到,以QWidget为基类的 ...
Spider--补充--Re模块_1
# @ Author : Collin_PXY # 正则表达式: import re # 1,分步写法: # 1)rule.search(string) pattern='各小区' rule=re.c ...
sendfile zero-copy
传统read/write进行网络文件传输过程当中,文件数据实际上经过四次copy操作: 硬盘->内核buf->用户buf->socket相关缓冲区->协议引擎而sendfil ...
弹性盒模型flex-grow的计算
flex-grow属性是弹性盒布局模块的子属性. 它定义了弹性项目在必要时增长的能力. 它接受作为比例的无单位值. 它决定了项目应在伸缩容器内部占用多少可用空间. 例如,如果所有项目的flex-gro ...
Selective Acknowledgment 选项浅析 2
来自:http://abcdxyzk.github.io/blog/2013/09/06/kernel-net-sack/ static int tcp_sacktag_write_queue(str ...

浅尝 Elastic Stack (二) Logstash

一、安装与启动

1.1 下载

1.2 安装

1.3 修改配置(根据需要执行)

1.4 启动

1.5 测试启动

二、使用

2.1 新建配置文件

2.2 使用

三、过滤器

3.1 grok

3.2 geoip

3.3 useragent

3.4 date

四、输出

浅尝 Elastic Stack (二) Logstash的更多相关文章

随机推荐

热门专题