logstash 如何处理 mongodb 导出来的 _id value数据。 how to custom fields of logstash by mongo mapreduce exported data.(example format: {_id:"xxx"} , value:{})
input {
      file {
          path => "c:\aa.json"
          start_position => "beginning"
          #sincedb_path => "NUL"
          codec => json {
            charset => "UTF-8"
        }
      }
}
filter {
   json{
   source => "message"
   }
    #custom fields
    ruby {
       code => "event.set('users',event.get('value')['usertag'])
                event.set('logcreatetime',event.get('value')['createtime'])
                event.set('usertype',event.get('value')['usertype'])
                event.set('userid',event.get('value')['userid'])
       "
    }
    mutate
    {
        remove_field => [ "message","path","@version","@timestamp","host","_id","value"] #删除字段 delete fields
    }
}
output {
    elasticsearch {
        action => "index"
        hosts => ["http://localhost:9200"]
        index => "urnesteddb"
        document_type => "usertable"
        workers => 1
    }
     #stdout {
         #codec => rubydebug
         #codec => json_lines
     #}
}
logstash 如何处理 mongodb 导出来的 _id value数据。 how to custom fields of logstash by mongo mapreduce exported data.(example format: {_id:"xxx"} , value:{})的更多相关文章
- Mongodb 导出json 和csv 格式数据
		导出到json: $ mongoexport.exe -d TestDB -c TestCollection -o ./test.json 导出到csv: If you want to outpu ... 
- Python将mongodb导出的bson文件转为字典对象
		Python将mongodb导出的bson文件转为字典对象 安装bson包, sudo pip install bson 示例 # 解决编码问题 import sys reload(sys) sys. ... 
- MongoDB导出与导入远程Linux服务器上的数据
		场景 将远程服务器A上的MongoDB数据库test下的集合people导入到服务器B数据库test的集合people_test下. 简单方案 先将A服务器数据导出,然后再执行导入到B服务器. 下面的 ... 
- mongodb导出导入实例记录
		mongodb导出导入实例记录 平时很用mongodb,所以用到了,就需要去网上搜索方法,干脆将自己的实际经历记录下来,方便日后使用. # 大致需求 源库:db_name_mongo 源IP:192. ... 
- python操作mongodb根据_id查询数据的实现方法
		python操作mongodb根据_id查询数据的实现方法 python操作mongodb根据_id查询数据的实现方法,实例分析了Python根据pymongo不同版本操作ObjectId的技巧, ... 
- mongodb 导出查询结果到文件
		编写mongo查询语句到 find.js db.xxx.find( {status:1,publisherId:0 , appDesc: {$in: [ /.*privacy .*/ ,/.*kika ... 
- logstash快速入门 (这篇文章很不错 )  |  两种方式往logstash传输数据实例:Apache 日志(从文件获取)、Syslog方式
		原文地址:http://www.2cto.com/os/201411/352015.html 原文地址:http://logstash.net/docs/1.4.2/tutorials/getting ... 
- 大数据入门第二十五天——logstash入门
		一.概述 1.logstash是什么 根据官网介绍: Logstash 是开源的服务器端数据处理管道,能够同时 从多个来源采集数据.转换数据,然后将数据发送到您最喜欢的 “存储库” 中.(我们的存储库 ... 
- MongoDB数据库中更新与删除数据
		MongoDB数据库中更新与删除数据 在MongoDB数据库中,可以使用Collection对象的update方法更新集合中的数据文档.使用方法如下所示: collection.update(sele ... 
随机推荐
- nagios加入被监控的机器
			此工作大约用时: 30min 准备工作, 在被监控机上 yum install -y gcc glibc glibc-common gd gd-devel xinetd openssl-devel 0 ... 
- 使用 git post-receive 钩子部署服务端代码
			在 git 中提交服务器源码的时候,如果能够直接更新到测试服务器,并且重启服务使其生效,会节省懒惰的程序员们大量的时间. git 的 Server-side hook (服务端钩子/挂钩)可以用来做件 ... 
- MyBatis Spring MapperScannerConfigurer 配置
			没有必要在 Spring 的 XML 配置文件中注册所有的映射器.相反,你可以使用一个 MapperScannerConfigurer , 它 将 会 查 找 类 路 径 下 的 映 射 器 并 自 ... 
- 〖Linux〗ADT_Bundle配置
			1. 配置自动补全: Windows -> preferences -> 搜索assist,修改 java xml自动触发补全:.abcdefghijklmnopqrstuvwxyzABC ... 
- 使用maven创建web项目【转】
			1.首先新建一个maven项目,看图: 2.按照以上步骤就可以创建一个maven项目,可以看到最下图的目录结构,但是这样的目录结构是不对的,需要做一些修改. 首先为了避免乱码,我们应该将项目编码换成U ... 
- mysql workbench图形化mysql管理工具
			MYSQL官网也推出了针对Linux的图形化的连接工具-MySQL Workbench.MySQL Workbench不仅仅是一个简单的MySQL客户端.简而言之,Workbench是一个跨平台的 ( ... 
- Naive Bayes Classifier 朴素贝叶斯分类器
			贝叶斯分类器的分类 根据实际处理的数据类型, 可以分为离散型贝叶斯分类器和连续型贝叶斯分类器, 这两种类型的分类器, 使用的计算方式是不一样的. 贝叶斯公式 首先看一下贝叶斯公式 $ P\left ( ... 
- I2C 12864OLED的工作机制
			有许多不同规格的OLED显示屏与Arduino兼容, 128x64是最常见的型号, 也很便宜, 淘宝上大概是12~14元一片. OLED与Arduino的通信 首先, 使用I2C总线的设备, 都可以使 ... 
- winform视频教程-任务定时循环执行小工具
			有时候,我们可能遇到这样的一种需求,就是需要有一个小工具,在服务器中不断的执行一些任务,那么这样的需求,我们可以做一个windows服务程序,或者做一个winform wpf等小程序,然后小程序里面开 ... 
- HDFS分布式文件系统(The Hadoop Distributed File System)
			The Hadoop Distributed File System (HDFS) is designed to store very large data sets reliably, and to ... 
