数据库-mongodb-聚合与map reduce
分组统计:group()
Group函数:
1.不支持集群、分片,无法分布式计算
2.需要手写聚合函数的业务逻辑
1
2
3
4
5
6
7
8
|
db.goods.group({ key:{cat_id: 1 }, cond:{}, reduce: function (curr,result){ result.cnt += 1 ; }, initial:{cnt: 0 } }); |
查找每个栏目下商品价格大于50的商品数量
1
2
3
4
5
6
7
8
|
db.goods.group({ key:{cat_id: 1 }, cond:{shop_price:{$gt: 50 }}, initial:{cnt: 0 }, reduce: function (curr,result){ result.cnt += 1 ; } }); |
每个栏目下的商品库存量sum操作
1
2
3
4
5
6
7
8
|
db.goods.group({ key:{cat_id: 1 }, cond:{}, initial:{cnt: 0 }, reduce: function (curr,result){ result.num += curr.goods_number; } }); |
计算每个栏目下最贵的商品,实现max()函数
1
2
3
4
5
6
7
8
9
10
|
db.goods.group({ key:{cat_id: 1 }, cond:{}, initial:{max: 0 }, reduce: function (curr,result){ if (curr.shop_price > result.max ){ result.max = curr.shop_price; } } }); |
计算每个栏目下商品 的平均价格cu
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
db.goods.group({ key:{cat_id: 1 }, cond:{}, initial:{cnt: 0 ,sum: 0 }, reduce: function (curr,result){ if (curr.shop_price > result.max ){ result.cnt += 1 ; result.sum += curr.shop_price; } }, finalize: function (result){ result.avg = result.sum / result.avg; } }); |
aggregate()函数
where | $match |
group by | $group |
having | $match |
select | $project |
order by | $sort |
limit | $limit |
sum() | $sum |
count() | $sum |
查询每个栏目下的商品数量
1
2
3
|
db.collection.aggreagte([ {$group:{_id: "$cat_id" ,total:{$sum: 1 }}} ]); |
查询goods下有多少商品
1
2
3
|
db.collection.aggreagte([ {$group:{_id: null ,total:{$sum: 1 }}} ]); |
查询每个栏目下价格大于50的商品,并筛选出“满足条件的商品数量大于等于3”的栏目
match在group前是SQL中match的作用,match在group后是having的作用
1
2
3
4
5
|
db.collection.aggreagte([ {$match:{shop_price:{$gt: 50 }}}, {$group:{_id: null ,total:{$sum: 1 }}}, {$match:{total:{$gte: 3 }}}, ]); |
查询每个栏目下的库存量,并按照库存量排序
1
2
3
4
|
db.collection.aggreagte([ {$group:{_id: "$cat_id" ,total:{$sum: "$goods_number" }}},
]); |
查询每个栏目的商品平均价格,并按照平均价格由高到低排序
--这个group有不少参数,官方文档里面有
1
2
3
4
|
db.collection.aggreagte([ {$group:{_id: "$cat_id" ,avg:{$avg: "$shop_price" }}}, //$符号是转为列的意思 {$sort:{avg: 1 }}} ]); |
MapReduce
mapReduce随着大数据的概念而流行
其实mapReduce的概念非常简单
从功能上来说,相当于RDMS的group操作
它的真正强项在于分布式,当数据非常大时,分布在各个地方时,group就力不能及了,mapReduce用蛮力来计算,mapReduce工作过程
map-->映射,先把同一个组的数据,映射到一个数组上
reduce-->规约,把数组进行运算
简单用法
1
2
3
4
5
|
var map = function (){ emit( this .cat_id, this .shop_price); } var reduce = function (cat_id,all_price){XX各种数据操作}; db.goods.mapReduce(map,reduce,{quer:{},out: 'res' }); //把查询到的结果输出为res表 |
mongodb对js的引擎做了一些修改对array数组增加了一些函数
mapReduce一般写在mongos上
数据库-mongodb-聚合与map reduce的更多相关文章
- 数据库——MongoDB——>Java篇
MongoDB是一个基于分布式文件存储的数据库.由C++语言编写.旨在为WEB应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库之间的产 ...
- 非关系型数据库----MongoDB
一.什么是MongoDB? MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统. 在高负载的情况下,添加更多的节点,可以保证服务器性能. MongoDB 旨在为WEB应用提 ...
- python数据库-MongoDB的安装(53)
一.NoSQL介绍 1.什么是NoSQL NoSQL(NoSQL = Not Only SQL ),意即"不仅仅是SQL". NoSQL,指的是非关系型的数据库.NoSQL有时也称 ...
- MongoDB Map Reduce(转载)
MongoDB Map Reduce Map-Reduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE). MongoDB提供的Map ...
- 记一次MongoDB Map&Reduce入门操作
需求说明 用Map&Reduce计算几个班级中,每个班级10岁和20岁之间学生的数量: 需求分析 学生表的字段: db.students.insert({classid:1, age:14, ...
- mongodb Map/reduce测试代码
private void AccountInfo() { ls.Clear(); DateTime dt = DateTime.Now.Date; IMongoQuery query = Query& ...
- Mongodb学习笔记四(Mongodb聚合函数)
第四章 Mongodb聚合函数 插入 测试数据 ;j<;j++){ for(var i=1;i<3;i++){ var person={ Name:"jack"+i, ...
- MongoDB 聚合 (转) 仅限于C++开发
MongoDB除了基本的查询功能,还提供了很多强大的聚合工具,其中简单的可计算集合中的文档个数, 复杂的可利用MapReduce做复杂数据分析. 1.count count返回集合中的文档数量 db. ...
- Mongodb聚合函数
插入 测试数据 for(var j=1;j<3;j++){ for(var i=1;i<3;i++){ var person={ Name:"jack"+i, Age: ...
随机推荐
- 多播 & multicast
参考: http://blog.csdn.net/herbert5069/article/details/31358641
- c++ 设计模式之简单的工厂模式
调试环境:vs2010 // test0.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #include <iostream> ...
- UVA 12124 UVAlive 3971 Assemble(二分 + 贪心)
先从中找出性能最好的那个数, 在用钱比較少的去组合,能组出来就表明答案在mid的右边,反之在左边, #include<string.h> #include<map> #incl ...
- 自己定义button
我们应该建立自己的代码库,建立自己的工厂 苹果公司给我们提供了强大的利器 可是我们不应该以简简单单的实现基本功能就满足了 大牛的成长之路.都是自己慢慢深入研究 我们要有成长为大牛的目标 今天给大家写个 ...
- 浅谈外连接中的on条件字句
在简单的项目中使用的一般就是内连接,可是在实际系统级项目中外连接就非经常见了.在外连接的使用中,本人发现有一个非常多人都弄不清楚的问题,关于外连接中on的带值条件字句的作用. 当在内连接查询中增加条件 ...
- springmvc+spring+jpa(hibernate)+redis+maven配置
废话不多少 项目结构 pom.xml配置例如以下 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=& ...
- 2015.05.04,外语,读书笔记-《Word Power Made Easy》 14 “如何谈论日常现象” SESSION 41
1. people are the craziest animals bovine(['bәuvain] adj. (似)牛的, 迟钝的),像牛一样placid(['plæsid] adj. 安静的, ...
- Vmware 安装虚拟工具 (二)
打开虚拟机,以root超级用户登陆,菜单栏选择虚拟机,install安装虚拟机 拷贝虚拟工具到 在根目录下建立文件夹,并将工具拷贝到该文件夹,例如vmtool 打开终端,进入该目录开始安装 如图,进入 ...
- docker中出现容器未运行无法进入容器的操作
- sqlserver数据文件位置如何迁移
亲测有效的一种方式: 1.对应的数据库脱机 2.迁移物理文件 3.删除原有实例 4.附加