Nodejs - 如何用 eventproxy 模块控制并发

本文目标

本文的目标是获取 ZOJ 1001-1010 每道题 best solution 的作者 id，取得数据后一次性输出在控制台。

前文如何用 Nodejs 分析一个简单页面我们讲了如何用 Nodejs 简单地对一个页面进行分析，我们再来理一理，温故而知新。首先，我们的目标是能输出在页面上，这时我们就需要 http 模块，或者封装了 http 模块的 express 模块。其次我们需要获取博客园首页的页面代码，就要发送 http 请求，而 superagent 模块正是我们所需要的。最后我们要对获取的页面代码进行分析，cheerio 模块能让我们用类似 jQuery 的语法对页面进行解析，何止一个爽字了得！

实践

再看今天我们的任务，粗看之下，少了输出在页面这个条件（不需要用 http 甚至 express 模块了），而需要输出每道题的 best solution 的作者 id，似乎并不是很难，我们来分析下 1001 这道题的提交统计页面，很显然第一条就是最佳 solution 嘛，我们像前面一样用 SuperAgent 模块请求该页面，然后用 cheerio 模块进行解析，不就大功告成了？！什么，要解析 10 个页面？那就发送 10 次 http 请求喽！

我们再来看下这个页面的 url http://acm.zju.edu.cn/onlinejudge/showProblemStatus.do?problemId=1，简直不能太爽有木有，那么 1002 题就是 problemId=2 吧，以此类推。

我们很快写下了如下代码：

var cheerio = require('cheerio');
var superagent = require('superagent');

var urls = [];
for (var i = 1; i <= 10; i++) {
  var tmp = 'http://acm.zju.edu.cn/onlinejudge/showProblemStatus.do?problemId=' + i;
  urls.push(tmp);
}

urls.forEach(function(item) {
  superagent
  .get(item)
  .end(function (err, sres) { // callback
    if (err) {
      console.error(err);
    }

    var $ = cheerio.load(sres.text);
    var ans = $('.runUserName a font').eq(0).text();
    console.log(ans);
  });
});

控制台输出了我们想要的 10 个 id 有木有！可是...这跟前面学的好像并没有什么区别，无非是多做了几次请求？我们再来看下本文目标，一次性输出有没有！再看上面代码的执行，很显然是一个一个输出，所以有时候审题真的很重要。那么，我们定义一个数组，然后把每次的结果存入数组，最后再将数组输出，不就行了？可是会输出一个空数组，是啊，superagent 是异步执行的啊亲！

eventproxy 模块

这种事情，早就有人想到了，eventproxy 模块就可以完美解决这个问题。我们想想如果自己写该怎么做？

SuperAgent 其实可以看做是服务端的 ajax，如果我们要在客户端完成 2 次 ajax操作，然后将返回的信息一起输出，会怎么做？

可能会这么写：

// jQuery
$.get(url1, function(data1) {
  $.get(url2, function(data2) {
    var ans = gao(data1, data2);
    console.log(ans);
  })
});

但是如果是 10 次请求呢？那就要嵌套 10 个回调了，太乱了。而且这样写效率太低，跟同步获取是一样一样的，果断 pass！

通常的做法是维护一个计数器，每次异步处理完后，将该计数器自加一，如果累计到了一个特定的数值（比如 2 次请求那么就是 2），就触发事件处理。

var count = 0
  , datas = [];

function gao() {
  if (count !== 2)
    return;

  // ...
}

// jQuery
$.get(url1, function(data) {
  datas.push(data);
  count++;
  gao();
});

$.get(url2, function(data) {
  datas.push(data);
  count++;
  gao();
});

但是这样写，总觉得不够优雅，最后我们来学习下使用 eventproxy 模块后的写法。eventproxy 实际上就起到了计数器的作用，它来帮你管理到底这些异步操作是否完成，完成之后，它会自动调用你提供的处理函数，并将抓取到的数据当参数传过来。

var ep = new eventproxy();

ep.all('data1_event', 'data2_event', function (data1, data2) {
  var ans = gao(data1, data2,);
  console.log(ans);
});

$.get(url1, function (data) {
  ep.emit('data1_event', data);
});

$.get(url2, function (data) {
  ep.emit('data2_event', data);
});

ep.all() 监听了两个事件，data1_event 以及 data2_event，每次当一个数据源抓取完成后，就通过 ep.emit() 告诉 ep 自己，我的抓取已经完成了，相当于维护了一个计数器。当 2 件事件都完成时，就会调用 ep.all() 的回调函数对数据进行处理。

eventproxy 提供了不少其他场景所需的 API，但最最常用的用法就是以上的这种，即：

先 var ep = new eventproxy(); 得到一个 eventproxy 实例。
告诉它你要监听哪些事件，并给它一个回调函数。ep.all('event1', 'event2', function (result1, result2) {})。
在适当的时候 ep.emit('event_name', eventData)。

如果是重复执行多次，比如读取10个文件，调用5次数据库等，可以用到它的 after 方法，api 可以参考重复异步协作，直接看代码：

// 得到一个 eventproxy 的实例
var ep = new eventproxy();

// 命令 ep 重复监听 urls.length 次（在这里也就是 10 次） `topic_html` 事件再行动
ep.after('topic_html', urls.length, function (topics) {
  // topics 是个数组，包含了 10 次 ep.emit('topic_html', page) 中的那 10 个 page
  // 开始行动
  topics = topics.map(function(page) {
    // 接下来都是 jquery 的用法了
    var $ = cheerio.load(page);
    var userId = $('.runUserName a font').eq(0).text();
    return userId;
  });

  console.log(topics);
});

urls.forEach(function(item) {
  superagent.get(item)
    .end(function (err, res) {
      ep.emit('topic_html', res.text);
    });
});

其实 emit() 和 after() 可以这样想象，一个负责抛出事件，一个负责监听事件（当然是先监听后抛出），余下的也就不难理解了。关于 eventproxy 更多可以参考 JacksonTian/eventproxy

总结

今天介绍的 eventproxy 模块是控制并发用的，有时我们需要同时发送 N 个 http 请求，然后利用得到的数据进行后期的处理工作，如何方便地判断数据已经全部并发获取得到，就可以用到该模块了。而模块不仅可以在服务端使用，也可以应用在客户端，详细可以参考JacksonTian/eventproxy

参考：《Node.js 包教不包会》