MongoDB进行MapReduce的数据类型
有很长一段时间没更新博客了,因为最近都比较忙,今天算是有点空闲吧。本文主要是介绍MapReduce在MongoDB上的使用,它与sql的分组、聚集类似,也是先map分组,再用reduce统计,最后还可选性地使用finalize调整最终结果。好了,来介绍下我所使用版本是MongoDB2.4.5,然后我还使用了MongoVUE(一款非常不错的图形化mongodb管理工具)帮助我协同操作。
1、原始数据,待使用的Collection中有三条doc: 而且它们的数据格式为:
可能很多人并不注意mongodb中存的数据格式吧,但是对于我来说,这个很敏感,我并不喜欢在后台使用object来保存这些本来明确的类型。这里我多提一点,如果是使用控制台插入的数据,你插入的数字,很可能存成了Double,而想存成整型,则必须要用NumberInt()、NumberLong()来,示例:
运行后在控制台上是看不出来数据类型的,但是利用MongoVUE,我可以看到:
数据库直接存成了double。而使用:
可以让它存成int32,使用NumberLong()可以存成Int64。
2、进行MapReduce,实现查找不同名字的人各有多少个的统计。首先是map函数,再调用reduce函数
function Map() {
emit(
this.name,
{count: 1}
);
}
emit(key,value)是一个分组的函数,表示以指定key对原doc进行分组,value是从doc中取出的数据或者自己录入的数据,它将会被添加到一个集合(暂称C集合)中。MapReduce会对各个doc都进行一次Map函数调用,但你可以决定是否使用emit函数对此doc进行分组,不分组的doc就相当于弃置了。不过我推荐不要在Map函数中添加过滤操作,如if (xxx==yyy) emit(...,...);,而应该在进行MapReduce前就进行Query过滤掉信息(后面会讲)。在Map函数中可以进行的过滤操作一般也是分类操作,比如成绩高于60的以某种方法emit,低于60的以某种方法emit,而不应该说是高于60的进行emit,否则什么都不做。
function Reduce(key, values) {
var reduced = {count:0, name:""}; // 初始化返回值
values.forEach(function(val) {
reduced.count += val.count;
});
return reduced;
}
接下来是Reduce函数,这个便是根据上面的emit分组数据进行统计了,函数的参数分别是key(它是上面的emit中的key)和values(它就是上面提到的C集合)。MapReduce会对各个分组的key都进行一次Reduce函数调用。函数第一行是对需要的统计结果数据进行初始化,然后就是自己的统计方法了,最后需要返回这个结果。
好了,看下在DB控制台下怎么调用这个MapReduce:
db.runCommand({ mapreduce: "lekko",
map : function Map() {
emit(
this.name,
{count: 1}
);
},
reduce : function Reduce(key, values) {
var reduced = {count:0, name:""}; // 初始化返回值
values.forEach(function(val) {
reduced.count += val.count;
});
return reduced;
},
out : { inline : 1 }
});
结果很快出来了:,由于我前面又在控制台下添加了两条doc,所以现在lekko名称的人有4个了。值得注意的是,这里在MapReduce之后的结果都将成为double型!
3、一些附加操作
单纯的MapReduce原理很简单,关键是会灵活使用就好。现在我例出几个我自己的使用心得:
(1)把Query也放到MapReduce中
在前面的runCommand中添加参数。例如我要查询所有男生的,就添加..., query : { "isman" : true }, ...。
(2)对结果进行数据类型转化
利用Finalize函数(该函数是在Reduce函数后调用,它将对所有key的Reduce结果进行最后的操作),例如我在后台调用了api后想得到的是int型数据,而不是double的,那么就可以添加Finalize函数:
...,
finalize : function Finalize(key, reduced) {
reduced.count = NumberInt(reduced.count);
return reduced;
},
...
这样,输出的reduced将会是int32,在后台你就直接用一个强制转化就行了,而不需要先从object转为double,再转为int(用ToString后再用Prase也不如强制转化)。
(3)时间类型
因为mongodb是有Date类型的,但是由于存入的时间格式和查询时间的格式可能不一致(特别是在你的mongodb部署在远程,而开发又是多人协作),会导致根据时间条件,却查不出数据的问题。我的建议,直接存时间的long形态(过去秒数),那么这种差异性问题就不复存在。
转载请注明原址:http://www.cnblogs.com/lekko/p/3240028.html
MongoDB进行MapReduce的数据类型的更多相关文章
- MongoDB 的 MapReduce 大数据统计统计挖掘
MongoDB虽然不像我们常用的mysql,sqlserver,oracle等关系型数据库有group by函数那样方便分组,但是MongoDB要实现分组也有3个办法: * Mongodb三种分组方式 ...
- MongoDb 用 mapreduce 统计留存率
MongoDb 用 mapreduce 统计留存率(金庆的专栏)留存的定义采用的是新增账号第X日:某日新增的账号中,在新增日后第X日有登录行为记为留存 输出如下:(类同友盟的留存率显示)留存用户注册时 ...
- mongoDB实现MapReduce
一.MongoDB Map Reduce Map-Reduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE).MongoDB提供的Ma ...
- MongoDB:Map-Reduce
Map-reduce是一个考虑大型数据得到实用聚集结果的数据处理程式(paradigm).针对map-reduce操作,MongoDB提供来mapreduce命令. 考虑以下的map-reduce操作 ...
- MongoDB中mapReduce的使用
MongoDB中mapReduce的使用 制作人:全心全意 mapReduce的功能和group by的功能类似,但比group by处理的数据量更大 使用示例: var map = function ...
- mongodb 聚合(Map-Reduce)
介绍 Map-reduce 是一种数据处理范式,用于将大量数据压缩为有用的聚合结果.对于 map-reduce 操作,MongoDB 提供MapReduce数据库命令. MongoDB中的MapRed ...
- 在MongoDB的MapReduce上踩过的坑
太久没动这里,目前人生处于一个新的开始.这次博客的内容很久前就想更新上来,但是一直没找到合适的时间点(哈哈,其实就是懒),主要内容集中在使用Mongodb时的一些隐蔽的MapReduce问题: 1.R ...
- mapreduce 自定义数据类型的简单的应用
本文以手机流量统计为例: 日志中包含下面字段 现在需要统计手机的上行数据包,下行数据包,上行总流量,下行总流量. 分析:可以以手机号为key 以上4个字段为value传传递数据. 这样则需要自己定义一 ...
- mongoDB(3) mapReduce
mapReduce是大数据的核心内容,但实际操作中别用这个,所谓的mapReduce分两步 1.map:将数据分别取出,Map函数调用emit(key,value)遍历集合中所有的记录,将key与va ...
随机推荐
- SharePoint 2016 入门视频教程
之前一直有朋友让自己录一些SharePoint的入门视频,之前没有太多时间,一个巧合的机会收到CSDN学院的邮件,可以在CSDN上发布视频教程,自己就录了一些.说起录视频也是蛮辛苦的,每天下班吃完饭要 ...
- 【SAP业务模式】之ICS(四):组织单元的配置
SAP的ICS业务后台配置主要有以下几个配置点: 1.组织单元的配置(公司代码.销售组织.工厂.采购组织等): 2.主数据的部分: 3.订单和开票的定价过程: 4.开票输出类型: 5.公司间发票的配置 ...
- Express 教程 01 - 入门教程之经典的Hello World
目录: 前言 一.Express?纳尼?! 二.开始前的准备工作 三.测试安装之经典的Hello World 四.使用express(1)来生成一个应用程序 五.说明 前言: 本篇文章是建立在Node ...
- transient关键字的用法
本篇博客转自 一直在路上 Java transient关键字使用小记 1. transient的作用及使用方法 我们都知道一个对象只要实现了Serilizable接口,这个对象就可以被序列化,Java ...
- 希尔排序(java)
时间复杂度为O( n^(3/2) )不是一个稳定的排序算法 如何看一个算法是否稳定:{("scala",12),("python",34),("c++ ...
- 匹夫细说C#:不是“栈类型”的值类型,从生命周期聊存储位置
0x00 前言: 匹夫在日常和别人交流的时候,常常会发现一旦讨论涉及到“类型”,话题的热度就会立马升温,因为很多似是而非.或者片面的概念常常被人们当做是全面和正确的答案.加之最近在园子看到有人翻译的& ...
- 在 Ubuntu 14.10 中借用 Windows 的字体
在前一篇随笔中,我详细讨论了字体的分类及用途,也以 Fedora 20 为例,展示了字体配置的思路和方法.我在配置 Fedora 20 系统字体的时候,采用的是一种釜底抽薪的方法,完全抛开了系统原有的 ...
- HTML5 <details> 标签
HTML5 中新增的<details>标签允许用户创建一个可展开折叠的元件,让一段文字或标题包含一些隐藏的信息. 用法 一般情况下,details用来对显示在页面的内容做进一步骤解释.其展 ...
- 到爱尔兰敲代码 / Come, Coding in Ireland
这是我在都柏林的第四个月,该办的证也都办完了,该安定下来的也安定下来了,所以也简单介绍下到爱尔兰做IT的相关过程和政策. 如果有兴趣在英语环境工作的话,我也可以帮忙推荐或者找找. 去年15年1月正好开 ...
- JRebel Windows RegCreateKeyEx(...) returned error code 5.
作为一个JRebel的深度用户,在win10下用JRebel的eclipse插件使用的时候遇到了如下问题: java.util.prefs.WindowsPreferences <init> ...