概念

聚合函数是对一组值执行计算并返回单一的值
主要的聚合函数
count
distinct
Group
MapReduce

1、count

db.users.count()
db.users.count({"uname":"hxf1"})
db.users.count({"salary":{"$gt":15000} })
db.users.find({"salary":{"$gt":15000}}).count()
find和count同时存在,只有find的条件起作用

2、distinct

db.users.distinct("uname")
db.runCommand({"distinct":"users","key":"uname"})
在数据量很大的时候,使用这种方法查询时,查询的结果集大于16M 时会查询失败,失败信息如下: 
比如要对名字字段name进行distinct
db.XX.distinct('imsi')
报错如下:
 [main] Error: distinct failed: {
    "ok" : 0,
    "errmsg" : "distinct too big, 16mb cap",
    "code" : 17217,
    "codeName" : "Location17217"
} :
 

解决办法:改成用聚合方式

db.XX.aggregate([{$group:{_id:{'imsi':"$imsi"},count:{$sum:1}}}],{ allowDiskUse: true})

3、group

按关键字排序,然后逐条计算(reduce)
 
db.runCommand({ "group":
... {"ns":"users",                    //集合
... "key":{"uuid":true,"uname":true},   //分组的条件
... "initial":{"num":0} ,              //初始化变量,在每一个分组计算时进行
... "$reduce":function(doc,prev){  //逐条文档用reduce处理
...   if(doc.uuid>prev.uuid){ // 新的分组开始,因为排好序,所以直接用>
...     prev.uuid=doc.uuid;
...     prev.uname=doc.uname;
...     prev.num =doc.num ;
... }else{          //当前文档和上一个文档相等,在一个分组内进行计算
...     prev.num=prev.num+1} } ,
...     "condition":{"uname":{"$nin":[null]}}  //条件,和find的一样
...} })

4、MapReduce

概述
Map-Reduce是一种计算模型,简单的说就是将大批量的数据分解(MAP)执行,然后再将结果合并成最终结果(REDUCE)。
优点
它的好处是可以把一个聚合任务分解为多个小的任务,分配到多服务器上并行处理。MongoDB也提供了MapReduce,当然查询语肯定是JavaScript。
阶段
 
Map:使用emit函数向MapReduce提供Key/Value对。
Shuffle: 根据Key分组对文档,并且为每个不同的Key生成一系列(>=1个)的值表(List of values)。
Reduce: Key,emits. Key即为emit函数中的Key。 emits是一个数组,它的元素就是emit函数提供的Value。Reduce函数返回结果必须与emits中元素结构一致
Finalize:此步骤不是必须的。在得到MR最终结果后,再进行一些数据“修剪”性质的处理
Map或者Reduce函数中的this关键字,代表当前被Mapping文档。
语法
命令1
db.collection.mapReduce(
   function() {emit(key,value);},  //map 函数
   function(key,values) {return reduceFunction},   //reduce 函数
   {
      out: collection,
      query: document,
      sort: document,
      limit: number
   }
)
参数说明:
 map :映射函数 (生成键值对序列,作为 reduce 函数参数)。
 reduce 统计函数,reduce函数的任务就是将key-values变成key-value,也就是把values数组变成一个单一的值value。。
 out 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
 query 一个筛选条件,只有满足条件的文档才会调用map函数。(query。limit,sort可以随意组合)
 sort 和limit结合的sort排序参数(也是在发往map函数前给文档排序),可以优化分组机制
limit 发往map函数的文档数量的上限(要是没有limit,单独使用sort的用处不大)
命令1相关实例
db.posts.find({},{"_id":0})
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "mark", "status" : "active" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "mark", "status" : "active" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "mark", "status" : "active" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "mark", "status" : "active" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "mark", "status" : "disabled" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "runoob", "status" : "disabled" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "runoob", "status" : "disabled" }
{ "post_text" : "菜鸟教程,最全的技术文档。", "user_name" : "runoob", "status" : "active" }
 
db.posts.mapReduce(
   function() { emit(this.user_name,1); },
   function(key, values) {return Array.sum(values)},
      { 
         query:{status:"active"}, 
         out:"post_total"
      }
)
db.post_total.find()
{ "_id" : "mark", "value" : 4 }
{ "_id" : "runoob", "value" : 1 }
 
{
        "result" : "post_total",    // 储存结果的collection的名字
        "timeMillis" : 23,         //执行花费的时间,毫秒为单位
        "counts" : {
                "input" : 5,     //满足条件被发送到map函数的文档个数
                "emit" : 5,     //在map函数中emit被调用的次数,也就是所有集合中的数据总量
                "reduce" : 1,   //在map函数中emit被调用的次数,也就是所有集合中的数据总量
                "output" : 2    //结果集合中的文档个数
        },
        "ok" : 1                //是否成功,成功为1
}
 
命令2
db.runCommand({
mapreduce:<collection>,
map:<mapfunction>,
reduce:<reducefunction>,
[,query:<query filter object>]
[,sort:<sorts the input objects using this key.Useful for optimization,like sorting by the emit key for fewer reduces>]
[,limit:<number of objects to return from collection>]
[,out:<see output options below>]
[,keeptemp:<true|false>]
[,finalize:<finalizefunction>]
[,scope:<object where fields go into javascript global scope>]
[, jsMode : boolean,default true]
[,verbose:true]
});
参数说明:
Mapreduce:要操作的目标集合
Map:映射函数(生成键值对序列,作为reduce函数参数)
Reduce:统计函数
Query:目标记录过滤
Sort:目标记录排序
Limit:限制目标记录数量
Out:统计结果存放集合(不指定使用临时集合,在客户端断开后自动删除)
Finalize:最终处理函数(对reduce返回结果进行最终整理后存入结果集合)
命令2相关实例
db.test.find({},{"_id":0})
{ "name" : "yy1", "age" : 22 }
{ "name" : "yy2", "age" : 23 }
{ "name" : "yy3", "age" : 24 }
{ "name" : "yy4", "age" : 25 }
{ "name" : "yy5", "age" : 25 }
{ "name" : "yy6", "age" : 26 }
查询年龄大于23岁的:
var m  = function(){if(this.age > 23) emit(this.age,{name:this.name})};
var r = function(key,values){ var ret={names:values};return ret;}
var f=function(key,rval){ if(key==24){ rval.msg="do somethings";} return rval }
var res = db.runCommand({mapreduce:"test",map:m,reduce:r, finalize:f,out:"emp_res"})
 
db.emp_res.find()
{ "_id" : 24, "value" : { "name" : "yy3", "msg" : "do somethings" } }
{ "_id" : 25, "value" : { "names" : [ { "name" : "yy4" }, { "name" : "yy5" } ] } }
{ "_id" : 26, "value" : { "name" : "yy6" } }
过滤出来age=25的
var res2 = db.runCommand({mapreduce:"test",map:m,reduce:r,finalize:f,query:{age:25},out:"emp_res2"})
db.emp_res2.find()
{ "_id" : 25, "value" : { "names" : [ { "name" : "yy4" }, { "name" : "yy5" } ] } }
原文链接:https://blog.csdn.net/lql_h/article/details/88285777

MongoDB 聚合函数的更多相关文章

  1. Mongodb学习笔记四(Mongodb聚合函数)

    第四章 Mongodb聚合函数 插入 测试数据 ;j<;j++){ for(var i=1;i<3;i++){ var person={ Name:"jack"+i, ...

  2. Mongodb聚合函数

    插入 测试数据 for(var j=1;j<3;j++){ for(var i=1;i<3;i++){ var person={ Name:"jack"+i, Age: ...

  3. MongoDB 聚合函数及排序

    聚合函数 最大值  $max db.mycol.aggregate([{$group : {_id : "$by_user", num_max : {$max: "$li ...

  4. 在MongoDB中实现聚合函数 (转)

    随着组织产生的数据爆炸性增长,从GB到TB,从TB到PB,传统的数据库已经无法通过垂直扩展来管理如此之大数据.传统方法存储和处理数据的成本将会随着数据量增长而显著增加.这使得很多组织都在寻找一种经济的 ...

  5. MongoDB学习总结(三) —— 常用聚合函数

    上一篇介绍了MongoDB增删改查命令的基本用法,这一篇来学习一下MongoDB的一些基本聚合函数. 下面我们直奔主题,用简单的实例依次介绍一下. > count() 函数 集合的count函数 ...

  6. 在MongoDB中实现聚合函数

    在MongoDB中实现聚合函数 随着组织产生的数据爆炸性增长,从GB到TB,从TB到PB,传统的数据库已经无法通过垂直扩展来管理如此之大数据.传统方法存储和处理数据的成本将会随着数据量增长而显著增加. ...

  7. MongoDB 聚合管道(Aggregation Pipeline)

    管道概念 POSIX多线程的使用方式中, 有一种很重要的方式-----流水线(亦称为"管道")方式,"数据元素"流串行地被一组线程按顺序执行.它的使用架构可参考 ...

  8. SQL与Mongodb聚合的对应关系(举例说明)

    SQL中的聚合函数和Mongodb中的管道相互对应的关系: WHERE $match GROUP BY $group HAVING $match SELECT $project ORDER BY $s ...

  9. MongoDB聚合

    --------------------MongoDB聚合-------------------- 1.aggregate():     1.概念:         1.简介             ...

随机推荐

  1. 67 GC 垃圾回收机制

    GC是JVM中自带的一个线程 他会不定时来堆中回收那些不再使用的对象,以释放内存 可以通过System.gc()来主动建议jvm尽快调度gc来回收垃圾 不同的平台的jvm对GC的策略是有所不同的 我们 ...

  2. Vivado_HLS 编译报错error: AP_STREAM macros are deprecated

    D:/vivado2018.3/Vivado/2018.3/common/technology/autopilot\ap_stream.h:62:2: error: AP_STREAM macros ...

  3. Kafka学习笔记之Kafka日志删出策略

    0x00 概述 kafka将topic分成不同的partitions,每个partition的日志分成不同的segments,最后以segment为单位将陈旧的日志从文件系统删除. 假设kafka的在 ...

  4. 整理:WPF中XmlDataProvider的用法总结

    原文:整理:WPF中XmlDataProvider的用法总结 一.目的:了解XmlDataProvider中绑定数据的方法 二.绑定方式主要有三种: 1.Xaml资源中内置: <!--XPath ...

  5. Python 的 12 个学习方式

    Python 是世界上最受欢迎的编程语言之一,它受到了全世界各地的开发者和创客的欢迎.大多数 Linux 和 MacOS 计算机都预装了某个版本的 Python,现在甚至一些 Windows 计算机供 ...

  6. Trie树的java实现

    leetcode 地址: https://leetcode.com/problems/implement-trie-prefix-tree/description/ 难度:中等 描述:略 解题思路: ...

  7. localStorage、sessionStorage、Cookie的区别及用法

    1.webstorage 本地存储,存储在客户端,包括localStorage和sessionStorage. (1)localStorage:生命周期是永久,这意味着除非用户显示在浏览器提供的UI上 ...

  8. 【开发笔记】-Tomcat启动时设置Jdk版本

    1. Window版本Tomcat 到bin下的setclasspath.bat文件,在文件的开始处添加如下代码: set JAVA_HOME=D:\Program Files\Java\jdk1.8 ...

  9. vue与webpack开发环境搭建:从无到有

    一个vue从无到有的搭建过程. 一.不论是webpack还是vue,最初的第一步就是安装node.js.它是基石. 从官网下载你需要的安装包:官网下载链接:http://nodejs.cn/downl ...

  10. Android常用五种布局

    1. FrameLayout(框架布局) 这个布局可以看成是墙脚堆东西,有一个四方的矩形的左上角墙脚,我们放了第一个东西,要再放一个,那就在放在原来放的位置的上面,这样依次的放,会盖住原来的东西.这个 ...