crawler: 常用的一些工具

phantomjs, Headless的WebKit Driver，意味着可以无需GUI，完全模拟Chrome/Safari的操作。 casperjs（基于phantomjs的好用封装)，zombie（相比phantomjs的优势是可以和node集成）等。

zombiejs似乎对富JavaScript网站支持得有问题，所以后来我还是只能用casperjs来进行测试。Headless的方案因为不需要渲染GUI，执行速度约为Selenium方案的三倍。

另外由于这是纯JavaScript的方案，于是我们可以直接在例如Chrome的Console模式下写代码控制浏览器，不存在如Selenium那样还需要语义转换，非常简洁直观。例如利用W3C Selectors API Level 1所提供的querySelector来快速选取元素，对表单进行submit，对按钮进行click，甚至可以执行自定义JavaScript脚本以便按一定规律对页面进行操控。

但是casperjs或者说phantomjs的弱点是不支持除了文件读写和浏览器操作以外的一切*nix IPC惯用伎俩，socket神马的统统不支持，1.4版本以后才加入了一个webserver用于和外界通信，但是用httpserver来和外界通信？我有点抵触就是了。