MongoDB中的数据聚合工具Aggregate和Group

周煦辰 2016-01-16

来说说MongoDB中的数据聚合工具。

Aggregate是MongoDB提供的众多工具中的比较重要的一个，类似于SQL语句中的GROUP BY。聚合工具可以让开发人员直接使用MongoDB原生的命令操作数据库中的数据，并且按照要求进行聚合。聚合不仅极大提升了开发的效率，更重要的是，原生的工具运行效率比自己写聚合的方法高到不知道哪里去了。

下面简单说一下PHP开发环境下如何使用MongoDB的数据聚合工具 Aggregation Pipleline和Group。其实PHP下的MongoDB使用和原生差不多，无非是语法从JavaScript变成了PHP而已，大致的操作流程是差不多，命令的格式也是非常相像的。基本上只要会看MongoDB的文档，就能通过PHP操作MongoDB了。

Aggregation Pipleline

关于Aggregation，官方文档在这里。我这里就半翻译半扯淡（当然大部分是扯淡）说一下Aggregation Pipleline。

管道的概念

管道在*nix中将上一个命令输出的数据作为下一个命令的参数。MongoDB中的管道操作是可以重复的，基于这个概念，MongoDB中的管道聚合可以有非常实用的玩法，比如对聚合的结果进行排序。

那么，如何使用呢

借用一下官方的图，这里aggregate的命令为：

[
    {$match: {status: "A"}},
    {$group: {_id: "$cust_id", total: {$sum: "$amount"}}}
]

aggreagte是一个数组，其中包含多个对象（命令），通过遍历Pipleline数组对collection中的数据进行操作。

解释一下例子中的配置项意思。

$match：查询条件

• 经常使用正则表示的人肯定对match不陌生，很明显$match是配置查询数据时的条件。这里的语法和查询数据库的时候一毛一样，也就不再赘述了，看一下MongoDB的CRUD文档即可。

$group：聚合的配置

• _id代表你想聚合的数据的主键，例如上述数据中，你想聚合所有cust_id相同的条目的amount的总和，那_id即被设置为cust_id。_id为必须，但是你可以填写一个空值。
• total代表你最后想输出的数据之一，这里total是每条结果中amount的总和。
• $sum是一个聚合的操作符，另外的操作符你可以在官方文档中找到。上图中的命令表示对相同主键（_id）下的amount进行求和。如果你想要计算主键出现的次数，可以把命令写成如下的形式

{$sum: 1}

聚合的过程

看一下图例，所有的数据先经过$match命令，只留下了status为A的数据，接着，对筛选出的数据进行聚合操作，对相同cust_id的数据进行计算amount总和的操作，最后输出结果。

其他管道表达式与操作符

其他的管道表达式和操作符都可以在官方文档中找到。

这里说一下$sort操作符。前面说过，利用管道的特性，可以做到对结果进行排序。所以只需要在$group操作之后使用$sort操作即可，这点在报表的制作上十分实用。况且使用MongoDB对结果进行排序也可以尽量优化性能。

Group

MongoDB另一个重要的聚合工具就是Group，所不同的是，Aggregate操作中，传入的Pipleline是一个包含多个对象的数组，每一个对象代表了一个命令。而Group有传入的命令中共有六个参数，其中三个……是JavaScript函数，因此每次查询到匹配的数据，都会被转换为对象传入函数。从运行效率上来说，Group肯定比Aggregate差一大截。但是Group的优势在于灵活，因为配置项可以通过自己编写函数来实现。但是需要注意的是，尽管这样做看起来非常灵活方便，但是一旦函数复杂度过大，将大大影响Group的性能，因此个中取舍还需要自己定夺。

那么，怎么用呢

从我个人来说，用得最多的是key、cond、$reduce、inital这四个命令。

使用上面Aggregation Pipleline中的数据为例。

• key：其实和上边说的Aggregation Pipleline中的_id是一样的。假设这里是{cust_id: 1}
• cond：和上边说的$match是一样的。
• $reduce：一个函数，对匹配到的数据进行操作，这个放在后面说。
• initial：初始数据，假设我们这里是{count: 0}。

$reduce：

function(obj, prev) {
    prev.count += obj.amount;
}

$reduce的函数（还是匿名的）可以传入两个参数，第一个是被转换为对象的条目，第二个是被实例化的initial对象。

最后的结果和Aggregate操作的一样：

{
    retval: [
        {
            cust_id: "A123",
            count: 750
        },
        {
            cust_id: "B212",
            count: 200
        }
    ],
    count: 3,
    keys: 2,
    ok: 1
}

那么，PHP里面应该怎么用呢

PHP中的Mongo操作和原生的使用JavaScript操作非常像。例如第一个例子的代码如下：

<?php
$mongo      = new MongoClient(DB_CONNECT);
$db         = $mongo->db;
$collection = $db->selectCollection('orders');

$pipleline  = array(
    array(
        '$match' => array(
            'status' => array(
                '$eq' => 'A',
            ),
        ),
    ),
    array(
        '$group' => array(
            '_id'   => '$cust_id',
            'total' => array(
                '$sum' => '$amount',
            ),
        ),
    ),
);

$a = $collection->aggregate($pipleline);
$result = isset($a['result']) ? $a['result'] : array();

第二个例子的代码如下

<?php
$mongo      = new MongoClient(DB_CONNECT);
$db         = $mongo->db;
$collection = $db->selectCollection('orders');

$keys    = array('cust_id' => 1);
$initial = array('count' => 0);
$reduce  = 'function(obj, prev) {prev.count += obj.amount;}';
$cond    = array('condition' => array('status' => 'A'));

$g = $collection->group($keys, $initial, $reduce, $cond);
$retval = isset($g['retval']) ? $g['retval'] : array();

其他的功能，需要自己多参考PHP官方文档和Mongo的文档进行尝试了。