logstash快速入门实战指南-Logstash简介

作者其他ELK快速入门系列文章

Elasticsearch从入门到精通

Kibana从入门到精通

Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据，并将数据标准化为您选择的目的地。为各种高级下游分析和可视化用例清理和统一化所有数据。

虽然Logstash最初为了推动了日志收集的创新而设计，但其功能远远超出了其之前定义。任何类型的事件都可以通过广泛的输入，过滤和输出插件进行丰富和转换，使用许多本地编解码功能可以进一步简化摄取过程。Logstash通过利用更大的容量和丰富的数据来加速您的洞察力。

Logstash 的力量

用于协助Elasticsearch更好地工作

具有增强Elasticsearch和Kibana协同的水平可伸缩数据处理管道

可插入管道架构

混合、匹配和编排不同的输入、过滤器和输出，使之在管道中和谐运行

社区可扩展和开发者友好的插件生态系统

超过200个插件，自建和社区贡献

Logstash喜欢数据

Logstash可以接受各种形状和大小的数据，收集更多，以便您可以了解更多。

日志和指标

一切都开始了。

• 处理所有类型的日志记录数据

  • 轻松地摄取大量的Web日志（如Apache）和应用程序日志（如log4j for Java）
  • 捕获许多其他日志格式，如syslog，网络和防火墙日志等
• 使用Filebeat享受互补的安全日志转发功能
• 通过TCP和UDP 从Ganglia，collectd， NetFlow，JMX以及许多其他基础架构和应用程序平台收集指标

网络

来自万维网数据。。。

• 将HTTP请求转换为事件

  • 从Twitter等网络服务消费中获取社交情绪分析
  • Webhook支持GitHub，HipChat，JIRA和无数其他应用程序
  • 启用许多Watcher警报用例

• 通过按需轮询HTTP端点来创建事件

  • 用于从Web应用程序界面捕获运行状况，性能，指标和其他类型的数据
  • 用于轮流控制比接收更受欢迎的场景

数据存储和流

从您已拥有的数据中发现更多价值。

• 通过JDBC接口更好地了解来自任何关系数据库或NoSQL存储的数据
• 统一来自Apache Kafka， RabbitMQ和Amazon SQS等消息队列的各种数据流

传感器和物联网

探索广泛的其他数据。

• 在这个技术进步的时代，大规模物联网世界通过捕获和利用来自连接传感器的数据释放出无尽的可能。
• Logstash是用于提取从移动设备发送到智能家居，联网车辆，医疗保健传感器以及许多其他行业特定应用的数据的常见事件收集主干。

轻松丰富一切

数据越好，知识越好。在摄取期间清理和转换数据，以便在索引或输出时间立即获得近实时洞察。Logstash开箱即用，包含许多聚合和突变，以及模式匹配，地理映射和动态查找功能。

• Grok是Logstash过滤器的基础，它可以无处不在地用于从非结构化数据中获取结构。享受丰富的集成模式，旨在帮助快速解决Web，系统，网络和其他类型的事件格式。
• 通过从IP地址解析地理坐标，规范 日期复杂性，简化键值对和 CSV数据，指纹识别（匿名化）敏感信息，并使用本地查找或Elasticsearch 查询进一步丰富数据，扩展您的视野。
• 编解码器通常用于简化JSON 和多行事件等常见事件结构的处理。