MongoDB之Map-Reduce -- Mongo Shell版和C#版（上）

最近有在学习MongoDB，看到了关于Map-Reduce，觉得蛮有意思的，所以在这里就记录下来作为学习笔记。

关于Map-Reduce的作用这里就引用一下官网以及另外一篇文章看到的，言简意赅。

1. 官网：http://docs.mongodb.org/manual/tutorial/map-reduce-examples/

The map-reduce operation is composed of many tasks, including:

• reads from the input collection,
• executions of the map function,
• executions of the reduce function,
• writes to the output collection.

2.另一篇文章：http://openmymind.net/2011/1/20/Understanding-Map-Reduce/

So what advantage does map reduce hold? The oft-cited benefit is that both the map and reduce operations can be distributed. So the code I've written above could be executed by multiple threads, multiple cpus, or even thousands of servers as-is. This is key when dealing with millions and billions of records, or smaller sets with more complex logic. For the rest of us though, I think the real benefit is the power of being able to write these types of transforms using actual programming languages, with variables, conditional statements, methods and so on. It is a mind shift from the traditional approach, but I do think even slightly complex queries are cleaner and easier to write with map reduce. We didn't look at it here, but you'll commonly feed the output of a reduce function into another reduce function - each function further transforming it towards the end-result.

好的，官网上说的是map-reduce在执行的时候包括哪些操作，步骤；另一篇文章说得是map-reduce有什么好处相对于传统的group by之类操作，而且还有他自己的见解，大家可以看看这篇文章。

接下来我就举个例子，加深对map-reduce的理解，考虑到我们有这样的一个表（说成表相对于传统数据库更好理解，NoSql里面称之为Collection），里面有字段_id，cusid，price（NoSql里面称保存字段的每条记录为Document），里面有数据如下：

Input：

=========================

{      cusid:1,    price:15      };
{      cusid:2,    price:30      };
{      cusid:2,    price:45      };
{      cusid:3,    price:45      };
{      cusid:4,    price:5        };
{      cusid:5,    price:65      };
{      cusid:1,    price:10      };
{      cusid:1,    price:30      };
{      cusid:5,    price:30      };
{      cusid:4,    price:100    };

=========================

但是我们想要得到的数据是根据cusid统计price的总和，这个可以利用group by来实现，但是前面的2个引用说了map-reduce的优势，尤其是大数据的时候，优势会很明显，那么我们就用map-reduce来实现，输出数据如下：

Output：

=========================

{      cusid:1,    price:55         };
{      cusid:2,    price:75         };
{      cusid:3,    price:45         };
{      cusid:4,    price:105      };
{      cusid:5,    price:95        };

=========================

基本的要求介绍完了，下面我们就一一实现，首先是

一. Mongo Shell 版本：

1. 首先我们编写map function来处理每一个Document（其实就是编写js脚本，但是又不同）。

红色方框里面的就是，上面的是我插入的记录数据，应该注意到了里面有一个emit函数，其作用就是做一个key-value匹配，这里就是将每一个Document的price匹配到对应的cusid中，很容易理解，是的。

2. 编写对应的reduce function，这里的functio有2个参数，key-values，对，不是key-value，values是一个数组，这里相当于做了一个group操作，全部对应一个cusid，cusid-prices。

reduceFunction主要的操作就是对每一个不同的cusid的price做求和，得到结果。

3. 执行map-reduce操作，并输出结果到一个临时的Collection中去。

红色部分即为我们要的结果，与Output结果一致。这里有一点疑问，就是cusid = 3的时候，结果的格式与其他的不一样，猜测可能是因为当cusid = 3的记录只有一条，所以就不会做类似group的操作，简言之就不会执行reduceFunction了，如果想要验证这个猜测，我们可以在插入一条cusid = 3的记录，看看结果是否会变化。

事实证明猜测是正确的，cusid = 3的结果和其他的一致了。~_~

未完待续，敬请期待！