MongoDB 聚合(管道与表达式)
MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。有点类似sql语句中的 count(*)。
aggregate() 方法
MongoDB中聚合的方法使用aggregate()。
语法
aggregate() 方法的基本语法格式如下所示:
>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
下表展示了一些聚合的表达式:
表达式 | 描述 | 实例 |
---|---|---|
$sum | 计算总和。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$sum : "$likes"}}}]) |
$avg | 计算平均值 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$avg : "$likes"}}}]) |
$min | 获取集合中所有文档对应值得最小值。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$min : "$likes"}}}]) |
$max | 获取集合中所有文档对应值得最大值。 | db.mycol.aggregate([{$group : {_id : "$by_user", num_tutorial : {$max : "$likes"}}}]) |
$push | 在结果文档中插入值到一个数组中。 | db.mycol.aggregate([{$group : {_id : "$by_user", url : {$push: "$url"}}}]) |
$addToSet | 在结果文档中插入值到一个数组中,但不创建副本。 | db.mycol.aggregate([{$group : {_id : "$by_user", url : {$addToSet : "$url"}}}]) |
$first | 根据资源文档的排序获取第一个文档数据。 | db.mycol.aggregate([{$group : {_id : "$by_user", first_url : {$first : "$url"}}}]) |
$last | 根据资源文档的排序获取最后一个文档数据 | db.mycol.aggregate([{$group : {_id : "$by_user", last_url : {$last : "$url"}}}]) |
管道的概念
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。
这里我们介绍一下聚合框架中常用的几个操作:
- $project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。
- $match:用于过滤数据,只输出符合条件的文档。$match使用MongoDB的标准查询操作。
- $limit:用来限制MongoDB聚合管道返回的文档数。
- $skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。
- $unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。
- $group:将集合中的文档分组,可用于统计结果。
- $sort:将输入文档排序后输出。
- $geoNear:输出接近某一地理位置的有序文档。
练习:
数据
> db.user.find()
{ "_id" : ObjectId("5ab8b9495a96a08a5b909000"), "name" : "qlq1", "age" : , "se
x" : "男" }
{ "_id" : ObjectId("5ab8b9535a96a08a5b909001"), "name" : "qlq2", "age" : , "se
x" : "男" }
{ "_id" : ObjectId("5ab8b9685a96a08a5b909002"), "name" : "qlq3", "age" : , "se
x" : "女" }
{ "_id" : ObjectId("5ab8b96e5a96a08a5b909003"), "name" : "qlq4", "age" : , "se
x" : "女" }
使用方法:使用管道过滤数据之后利用表达式对数据进行操作:
- 测试分组管道与表达式: $group 分组统计
1.按性别分组,并计算男女人数
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$sum:}
}
}])
解释:_id:"$sex"表示按sex属性分组; $sum表示求和,如果是$sum:1就相当于count(*),一行记录算一个
2.按性别分组,计算年龄和:
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$sum:"$age"}
}
}])
3.按性别分组,并拿到每个组的第一个年龄:
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$first:"$age"}
}
}])
4.先按性别分组,分完组之后将age属性映射到数组中:(相当于分完组之后查看同组的数据,mysql不能实现)
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$push:"$age"}
}
}])
如果是将所有列都添加到数组中用 $push:$$ROOT
db.user.aggregate([
{$group:{
_id:"$sex",
num:{$push:"$$ROOT"}
}
}])
结果:
/* 1 */
{
"_id" : "女",
"num" : [
{
"_id" : ObjectId("5ab8b9685a96a08a5b909002"),
"name" : "qlq3",
"age" : 23.0,
"sex" : "女"
},
{
"_id" : ObjectId("5ab8b96e5a96a08a5b909003"),
"name" : "qlq4",
"age" : 24.0,
"sex" : "女"
}
]
} /* 2 */
{
"_id" : "男",
"num" : [
{
"_id" : ObjectId("5ab8b9495a96a08a5b909000"),
"name" : "qlq1",
"age" : 20.0,
"sex" : "男"
},
{
"_id" : ObjectId("5ab8b9535a96a08a5b909001"),
"name" : "qlq2",
"age" : 22.0,
"sex" : "男"
}
]
}
- $match管道: 类似于find,只是find不能统计,现在是可以过滤并统计
1.查询年龄大学23小于等于50的(只是过滤)
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:}
}
}
])
2.在上面过滤的基础上聚合(先过滤,再分组)
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
}
])
- $project 修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。类似于find方法的第二个参数
1.查询年龄大学23小于等于50的,按性别分组并统计人数,并且只取人数列:
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
}
])
解释: $project:{_id:0,num:1}表示在结果中取num列,不取_id列。
- $sort 排序。类似于sort方法,指定一列并指明排序方式
1.查询年龄大于21小于等于35并且按性别分组之后两列都取,按总数降序排列
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
},
{
$sort:{num:-}
}
])
- $skip 跳过几列: $limit:取几列
例如:在上面排序例子的基础上先跳过1列,取1个值
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
},
{
$sort:{num:-}
},
{
$skip:
},
{
$limit:
}
])
例如:在上面排序例子的基础上先取1列,再跳过1列 (取不到数据)
db.user.aggregate([
{
$match:{
age:{$gt:,$lte:},
}
},
{
$group:{
_id:"$sex",
num:{
$sum:
}
}
},
{
$project:{
_id:,
num:
}
},
{
$sort:{num:-}
},
{
$limit:
},
{
$skip:
}
])
- $unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。 将数组拆分成一个一个的数据 (相当于分组的逆操作)
构造数据:
> db.tshirt.insert({name:'t1',size:,size:["x","xxx","M"]})
WriteResult({ "nInserted" : })
> db.tshirt.find()
{ "_id" : ObjectId("5ab8c3ce807bacd3133efcf8"), "name" : "t1", "size" : [ "x", "
xxx", "M" ] }
>
例如;按size拆分数据
db.tshirt.aggregate([
{
$unwind:'$size'
}
])
对于特殊情况的处理:(非数组,不存在的列,为空数组,为null)
构造数据:
> db.tshirt.find()
{ "_id" : ObjectId("5ab8c5ea807bacd3133efcfd"), "name" : "t1", "price" : , "size" : [ "m", "xx", "l" ] }
{ "_id" : ObjectId("5ab8c5f2807bacd3133efcfe"), "name" : "t1", "price" : , "size" : [ ] }
{ "_id" : ObjectId("5ab8c608807bacd3133efcff"), "name" : "t3", "price" : , "size" : "3x" }
{ "_id" : ObjectId("5ab8c62e807bacd3133efd02"), "name" : "t3", "price" : }
{ "_id" : ObjectId("5ab8c746807bacd3133efd03"), "name" : "t3", "price" : , "size" : null }
>
1.直接拆分:()
db.tshirt.aggregate([
{
$unwind:'$size'
}
])
结果:发现数据丢失(字段不存在的和属性值为null的数据丢失)
2.拆分且防止数据丢失
db.tshirt.aggregate([
{
$unwind:{
path:"$size",
preserveNullAndEmptyArrays:true #为true表示防止空数组和null丢失
}
}
])
例如:按价格进行分组之后将数据映射到数组中,并按此列拆分数据
db.tshirt.aggregate([
{
$group:{
_id:"$price",
docs:{
$push:"$$ROOT"
}
}
},
{
$project:{
_id:,
docs:
}
},
{
$unwind:{
path:"$docs",
preserveNullAndEmptyArrays:true
}
}
])
结果:
/* 1 */
{
"_id" : 93.0,
"docs" : {
"_id" : ObjectId("5ab8c608807bacd3133efcff"),
"name" : "t3",
"price" : 93.0,
"size" : "3x"
}
} /* 2 */
{
"_id" : 93.0,
"docs" : {
"_id" : ObjectId("5ab8c62e807bacd3133efd02"),
"name" : "t3",
"price" : 93.0
}
} /* 3 */
{
"_id" : 93.0,
"docs" : {
"_id" : ObjectId("5ab8c746807bacd3133efd03"),
"name" : "t3",
"price" : 93.0,
"size" : null
}
} /* 4 */
{
"_id" : 90.0,
"docs" : {
"_id" : ObjectId("5ab8c5ea807bacd3133efcfd"),
"name" : "t1",
"price" : 90.0,
"size" : [
"m",
"xx",
"l"
]
}
} /* 5 */
{
"_id" : 90.0,
"docs" : {
"_id" : ObjectId("5ab8c5f2807bacd3133efcfe"),
"name" : "t1",
"price" : 90.0,
"size" : []
}
}
MongoDB 聚合(管道与表达式)的更多相关文章
- MongoDB 聚合管道(Aggregation Pipeline)
管道概念 POSIX多线程的使用方式中, 有一种很重要的方式-----流水线(亦称为"管道")方式,"数据元素"流串行地被一组线程按顺序执行.它的使用架构可参考 ...
- MongoDB基础教程系列--第七篇 MongoDB 聚合管道
在讲解聚合管道(Aggregation Pipeline)之前,我们先介绍一下 MongoDB 的聚合功能,聚合操作主要用于对数据的批量处理,往往将记录按条件分组以后,然后再进行一系列操作,例如,求最 ...
- MongoDB聚合管道
通过上一篇文章中,认识了MongoDB中四个聚合操作,提供基本功能的count.distinct和group,还有可以提供强大功能的mapReduce. 在MongoDB的2.2版本以后,聚合框架中多 ...
- mongodb聚合管道用法
基本用法 db.collection.aggregate( [ { <stage> }, ... ] ) stage如下 名称 描述 $addFields 将新的字段添加到文档中,输出的文 ...
- MongoDB 聚合管道
参见:http://www.cnblogs.com/liruihuan/p/6686570.html MongoDB 的聚合功能,聚合操作主要用于对数据的批量处理,往往将记录按条件分组以后,然后再进 ...
- MongoDB聚合管道(Aggregation Pipeline)
参考聚合管道简介 聚合管道 聚合管道是基于数据处理管道模型的数据聚合框架.文档进入一个拥有多阶段(multi-stage)的管道,并被管道转换成一个聚合结果.最基本的管道阶段提供了跟查询操作类似的过滤 ...
- 【mongoDB查询进阶】聚合管道(三)--表达式操作符
https://segmentfault.com/a/1190000010910985 管道操作符的分类 管道操作符可以分为三类: 阶段操作符(Stage Operators) 表达式操作符(Expr ...
- MongoDB 聚合管道(aggregate)
1.aggregate() 方法 我们先插入一些测试数据 { "_id" : ObjectId("5abc960c684781cda6d38027"), &qu ...
- 【翻译】MongoDB指南/聚合——聚合管道
[原文地址]https://docs.mongodb.com/manual/ 聚合 聚合操作处理数据记录并返回计算后的结果.聚合操作将多个文档分组,并能对已分组的数据执行一系列操作而返回单一结果.Mo ...
随机推荐
- Htmlemail邮件发送
/** * * @param path //发送附件路径 * @param name //附件名称 * @param hostName //邮件服务器名称 * @param port //服务器端口 ...
- Python网络编程(进程通信、信号、线程锁、多线程)
什么是进程通讯的信号? 用过Windows的我们都知道,当我们无法正常结束一个程序时, 可以用任务管理器强制结束这个进程,但这其实是怎么实现的呢? 同样的功能在Linux上是通过生成信号和捕获信号来实 ...
- FFT的物理意义(转载)
文章转载自: http://blog.sina.com.cn/s/blog_640029b301010xkv.html FFT是离散傅立叶变换的快速算法,可以将一个信号变换到频域.有些信号在时域上是很 ...
- Flask 学习笔记(一)
一.Web 服务器与 Web 框架 首先明确一下,要运行一个动态网页,我们需要 一个 Web 服务器来监听并响应请求,如果请求的是静态文件它就直接将其返回,如果是动态 url 它就将请求转交给 Web ...
- BZOJ 4029 HEOI2015 定价 数位贪心
题目链接:http://www.lydsy.com/JudgeOnline/problem.php?id=4029 题意概述:对于一个数字的荒谬程度定义如下:删除其所有的后缀0,然后得到的数字长度为a ...
- 第5讲——cin处理字符输入
本来这一讲应该是while.for.if之类的,但是,我们可是学过C的男人,再浪费时间搞这个??? 还不如学点C++中的新知识. cin对象支持3种不同模式的单字符输入,其用户接口各不相同. 下面我们 ...
- jquery用正则表达式验证密码强度
/** * 不加paste鼠标粘贴不起作用 * 不加input第一次粘贴的时候不变 * 加上input和focus可以兼容表情 * ke ...
- oracle序列使用时 先用伪列将序列的id调整到正确的位置
- 【loj6177】「美团 CodeM 初赛 Round B」送外卖2 Floyd+状压dp
题目描述 一张$n$个点$m$条边的有向图,通过每条边需要消耗时间,初始为$0$时刻,可以在某个点停留.有$q$个任务,每个任务要求在$l_i$或以后时刻到$s_i$接受任务,并在$r_i$或以前时刻 ...
- hdu 1284 钱币兑换问题 (递推 || DP || 母函数)
钱币兑换问题 Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Others)Total Subm ...