ELK 框架整体流程编写 以及logstash脚本编写

• Elasticsearch

Elasticsearch 是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。

主要特点

–          实时分析

–          分布式实时文件存储，并将每一个字段都编入索引

–          文档导向，所有的对象全部是文档

–          高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards 和 Replicas）。见图 2 和图 3

–          接口友好，支持 JSON

• Logstash

Logstash 是一个具有实时渠道能力的数据收集引擎。使用 JRuby 语言编写。其作者是世界著名的运维工程师乔丹西塞 (JordanSissel)。

主要特点

–          几乎可以访问任何数据

–          可以和多种外部应用结合

–          支持弹性扩展

它由三个主要部分组成

–          Shipper－发送日志数据

–          Broker－收集数据，缺省内置 Redis

–          Indexer－数据写入

• Kibana

Kibana 是一款基于 Apache 开源协议，使用 JavaScript 语言编写，为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度的表图。

对于初学者来说，我推荐你这个网站去看下logstash相关基本配置

https://blog.csdn.net/iguyue/article/details/77006201

logstash主要3个插件   input   filter  output

输入数据  过滤数据  输出数据3个部分

input{
file {
path => "/export/servers/es/logstash-6.7.0/grok/yarn-*.log"
type => "log"
start_position => "beginning"
}
}
filter {

if ([message] =~ "\d{4}(\-|\/|.)\d{1,2}\1\d{1,2}\s.{1,18}\s\s[^an].{1,1000}") { drop {} }

#grok {
#match => { "message" => "\d{4}(\-|\/|.)\d{1,2}\1\d{1,2}\s.{1,18}\s\s[^an].{1,1000}"}

#remove_field => ["message"]

#}

}

output {

#stdout { codec => "rubydebug" }

elasticsearch {

hosts => ["192.168.72.151:9200"]

index => "logcdsnmin-%{+YYYY.MM.dd}"

}
}

相关的正则表达式编写不会的可以联系我，我可以帮助你  1198788953@qq.com