参照官方文档:

https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html

demo-pipeline.conf

  1. input {
  2. beats {
  3. port => "5044"
  4. }
  5. }
  6. filter {
  7. grok {
  8. match => { "message" => "%{COMBINEDAPACHELOG}"}
  9. }
  10. geoip {
  11. source => "clientip"
  12. }
  13. }
  14. output {
  15. elasticsearch {
  16. hosts => [ "localhost:9200" ]
  17. }
  18. }

  output(log来自Apache log):

  1. {
  2. "took": 50,
  3. "timed_out": false,
  4. "_shards": {
  5. "total": 5,
  6. "successful": 5,
  7. "skipped": 0,
  8. "failed": 0
  9. },
  10. "hits": {
  11. "total": 98,
  12. "max_score": 2.793642,
  13. "hits": [
  14. {
  15. "_index": "logstash-2017.11.09",
  16. "_type": "doc",
  17. "_id": "3IzDnl8BW52sR0fx5wdV",
  18. "_score": 2.793642,
  19. "_source": {
  20. "request": "/presentations/logstash-monitorama-2013/images/frontend-response-codes.png",
  21. "agent": """"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"""",
  22. "geoip": {
  23. "timezone": "Europe/Moscow",
  24. "ip": "83.149.9.216",
  25. "latitude": 55.7485,
  26. "continent_code": "EU",
  27. "city_name": "Moscow",
  28. "country_name": "Russia",
  29. "country_code2": "RU",
  30. "country_code3": "RU",
  31. "region_name": "Moscow",
  32. "location": {
  33. "lon": 37.6184,
  34. "lat": 55.7485
  35. },
  36. "postal_code": "101194",
  37. "region_code": "MOW",
  38. "longitude": 37.6184
  39. },
  40. "offset": 2932,
  41. "auth": "-",
  42. "ident": "-",
  43. "verb": "GET",
  44. "prospector": {
  45. "type": "log"
  46. },
  47. "input": {
  48. "type": "log"
  49. },
  50. "source": "/path/to/file/logstash-tutorial.log",
  51. "message": """83.149.9.216 - - [04/Jan/2015:05:13:45 +0000] "GET /presentations/logstash-monitorama-2013/images/frontend-response-codes.png HTTP/1.1" 200 52878 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"""",
  52. "tags": [
  53. "beats_input_codec_plain_applied"
  54. ],
  55. "referrer": """"http://semicomplete.com/presentations/logstash-monitorama-2013/"""",
  56. "@timestamp": "2017-11-09T03:11:35.304Z",
  57. "response": "200",
  58. "bytes": "52878",
  59. "clientip": "83.149.9.216",
  60. "@version": "1",
  61. "beat": {
  62. "name": "My-MacBook-Pro.local",
  63. "hostname": "My-MacBook-Pro.local",
  64. "version": "6.0.0"
  65. },
  66. "host": "My-MacBook-Pro.local",
  67. "httpversion": "1.1",
  68. "timestamp": "04/Jan/2015:05:13:45 +0000"
  69. }
  70. },
  71. ...

  

Elasticsearch logstash filter的更多相关文章

  1. Elasticsearch+Logstash+Kibana教程

    参考资料 累了就听会歌吧! Elasticsearch中文参考文档 Elasticsearch官方文档 Elasticsearch 其他——那些年遇到的坑 Elasticsearch 管理文档 Ela ...

  2. 【转】ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

    [转自]https://my.oschina.net/itblog/blog/547250 摘要: 前段时间研究的Log4j+Kafka中,有人建议把Kafka收集到的日志存放于ES(ElasticS ...

  3. 使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践--转载

    原文地址:https://wsgzao.github.io/post/elk/ 另外可以参考:https://www.digitalocean.com/community/tutorials/how- ...

  4. Manage Spring Boot Logs with Elasticsearch, Logstash and Kibana

    下载地址:https://www.elastic.co/downloads When time comes to deploy a new project, one often overlooked ...

  5. (转)开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引

    Github, Soundcloud, FogCreek, Stackoverflow, Foursquare,等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务.博主近4个月搜 ...

  6. ELK日志系统:Elasticsearch+Logstash+Kibana+Filebeat搭建教程

    ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 系统架构 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.orac ...

  7. logstash filter 处理json

    根据输入的json字段,分别建立索引.循环生成注册log和登录log保存到testlog文件中,结果如下: {"method":"register"," ...

  8. ELk(Elasticsearch, Logstash, Kibana)的安装配置

    目录 ELk(Elasticsearch, Logstash, Kibana)的安装配置 1. Elasticsearch的安装-官网 2. Kibana的安装配置-官网 3. Logstash的安装 ...

  9. ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台

    一.简介 ELK 由三部分组成elasticsearch.logstash.kibana,elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能. Elastic ...

随机推荐

  1. html5 点击播放video的方法

    html5 点击播放video的方法<pre> <video videosrc="{$vo.shipinurl}" controls="" x ...

  2. 004.Kubernetes二进制部署创建证书

    一 创建CA证书和密钥 1.1 安装cfssl工具集 [root@k8smaster01 ~]# mkdir -p /opt/k8s/cert [root@k8smaster01 ~]# curl - ...

  3. Jetpack Compse 实战 —— 全新的开发体验

    公众号回复 Compose 获取安装包 项目地址: Wanandroid-Compose 经过前段时间的 Android Dev Summit ,相信你已经大概了解了 Jetpack Compose ...

  4. PHP RSA签名(公钥、私钥)

    签名算法:    Setp.1 确定待签名参数        在请求参数列表中,除去sign参数外,其他需要使用到的参数皆是要签名的参数. 在通知返回参数列表中,除去sign参数外,凡是通知返回回来的 ...

  5. 使用VSCode调试Egret项目中的ts代码

    发布一次Android项目后,会在代码里,生成对应的.map文件.这样就可以在编辑器里或是Chrome里面对相应的TS文件进行断点调试了. 实际只要在tsconfig.json里面配置一下," ...

  6. xposed实现个人收款免签支付

    想必很多程序员都有这样的烦恼,想做个人网站,但如何实现收款功能? 今天我就给大家分享一下我的实现方案:基于xposed逆向框架实现微信免签支付.支付宝免签支付 接下来给大家简单分享一下实现过程,这个过 ...

  7. 手动部署LNMP环境(CentOS 7)

    手动部署LNMP环境(CentOS 7) 一.修改 yum 源 [root@localhost ~]# rpm -Uvh https://dl.fedoraproject.org/pub/epel/e ...

  8. 领扣(LeetCode)对称二叉树 个人题解

    给定一个二叉树,检查它是否是镜像对称的. 例如,二叉树 [1,2,2,3,4,4,3] 是对称的. 1 / \ 2 2 / \ / \ 3 4 4 3 但是下面这个 [1,2,2,null,3,nul ...

  9. C# Json之序列化与反序列化

    前言:在实际开发过程中经常都要和Json打交道,序列化与反序列化就成了开发中必不可缺的技能.本篇博客就教大家如何进行Json序列化与反序列化. 首先要添加引用NuGet包,Newtonsoft.Jso ...

  10. linux 进程简介

    进程相关知识简介 进程定义: 一个运行中的程序即一个process task struct: 内核存储进程信息的固定格式称为task struct,task struct记录了例如该进程内存下一跳位置 ...