开始使用Logstash

开始使用Logstash

本节将指导处理安装Logstash 和确认一切是运行正常的,

后来的章节处理增加负载的配置来处理选择的使用案例。

这个章节包含下面的主题:

Installing Logstash

Stashing Your First Event: Basic Logstash Example

Parsing Logs with Logstash

Stalled Shutdown Detection

Logstash Processing Pipeline

基本的Logstash的例子:

测试你的Logstash 安装,运行做基本的Logstash 管道:

cd logstash-2.4.0

bin/logstash -e 'input { stdin { } } output { stdout {} }'

-e flag 让你指定一个配置直接从命令行, 指定配置作为命令行让你快速的测试配置不需要编辑文件在迭代期间。

这个管道从一个标准输入,stdin,和移动 输入到标准输出

使用Logstash 解析日志:

一个Logstash 管道 在很多使用情况下有一个或者多个input,和输出插件。

本节中的场景 创建一个Logstash 配置文件来指定那些插件和讨论 每个插件是做什么的。

Logstash 配置文件定义你的Logstash 管道。当你启动一个Logstash 实例,使用-f 选项

来指定配置文件,定义实例的管道

一个Logstash 管道有2个需要的参数, input和output, 以及一个可选的元素,filter.

input 插件 消费源的数据, filter 插件 修改你指定的数据,

ouput 插件写数据到一个目的地

在这个章节,你创建一个Logstash 管道,让Apache web logs 作为输入,

解析那些日志来创建特定的,命名命名的字段, 写解析好的数据到Elasticsarch集群。

相比定义管道配置在命令行,你可以定义管道在一个配置文件里。

下面的文本表示配置管道的概略:

# The # character at the beginning of a line indicates a comment. Use
# comments to describe your configuration.
input {
}
# The filter part of this file is commented out to indicate that it is
# optional.
# filter {
#
# }
output {
}

这个骨架是非功能的, 因为input和output 章节没有任何正确的选项定义:

开始, 复制和黏贴骨架配置管道到一个文件叫做 first-pipeline.conf  在你的Logstash 目录。

然后下载示例数据用于下面的例子

配置Logstash 用于文件输入:

注意:

这个例子 使用文件输入插件, tail files 在真实的世界,

你可以使用Filebeat 来传输日志到Logstash.

开始你的Logstash 管道,配置Logstash 实例从一个文件读取使用file input 插件:

input {
    file {
        path => "/path/to/file/*.log"
        start_position => beginning
        ignore_older => 0
    }
}

默认的文件input 插件的行为是监控一个文件对于新的信息, 类似于UNIX tail -f 命令的方式。

改变这个默认的行为,处理整个文件,我们需要 指定位置 logstash 开始处理文件的位置：

设置ignore_older to 0 来禁用文件年龄检查 ,这样文件是被处理的,即使它是一天前的

替换 /path/to/file 为你的决定路径

解析 Web logs 使用Grok 过滤插件:

grok 过滤插件 是几种插件的一种 默认是可用的在logstash里。

对于细节关于如何管理logstash 插件,查看插件管理文档。

Grok filter 插件让你解析非结构化的数据到一些结构化的可以查询的 日志数据

因为grok 过滤插件寻找模式在进来的log data,配置需要你做决定关于如何识别模式,你使用情况感兴趣的。

web server 日志看起来像:

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png
HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel
Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"

IP 地址在行开头是容易识别的, 括号中的时间戳,解析数据,你可以使用%{COMBINEDAPACHELOG} grok pattern,

增强你的数据使用Geoip 过滤插件:

除了分析日志数据为了更好的搜索, filter plugins 可以得到补充信息从现有的数据。

作为一个例子, geoip 插件 查找IP地址, 得到地理位置信息从ip地址,增加位置信息到logs

配置你的Logstash 实例使用geoip 过滤插件通过增加下面的行到filer 章节

geoip {
    source => "clientip"
}

geoip 插件配置需要你指定 source field 的名字 包含IP地址用于查找,在这里例子中,

Clientip 字段包含IP地址。

由于过滤器是顺序评估的, 确保geoip 部分是在grok 部分后面,grok和geoip 部分是嵌套的在filter 部分像这样:

filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }

索引你的数据到Elasticsearch:

现在web logs 是被分成特定的字段,Logstash 管道可以索引数据到一个Elasticsearch cluster.

编辑first-pipeline.conf file  替换整个输出部分使用下面的文本:

output {
    elasticsearch {
        hosts => [ "localhost:9200" ]
    }
}

在这个配置里, Logstash 使用http 协议连接到Elasticsearch

上面的例子 假设Logstash 和Elasticsearch  运行在相同的实例上。

你可以指定一个远程的Elasticsearch  通过使用hosts配置来指定像这样 hosts => [ "es-machine:9092" ].

测试你的初始化管道

在这个点上,你的 first-pipeline.conf file 已经有input,filter和output 部分配置,看起来像这样:

input {
    file {
        path => "/Users/myusername/tutorialdata/*.log"
        start_position => beginning
        ignore_older => 0
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts => [ "localhost:9200" ]
    }
}

检验你的配置,运行下面的命令:

bin/logstash -f first-pipeline.conf --configtest

 --configtest 选项 解析你的配置文件和报告任何错误。

当配置文件解析 配置test,启动Logstash 使用下面的命令:

bin/logstash -f first-pipeline.conf

整合多个input和output 插件

你需要管理来自多个不同的源,使用例子可以需要多个目的地用于你的数据。

你的logstash 管道可以使用多个input 和output 来处理那些请求:

在这个章节, 你创建一个Logstash 管道 从一个Twitter feed 输入,

写Logstash到文件:

你可以配置你的Logstash 管道写数据直接到一个文件使用file output插件。

配置你的Logstash 实例来使用实例来使用file output 插件通过增加下面的行到你的输出部分

file {
        path => /path/to/target/file
    }