Node.js 爬虫，自动化抓取文章标题和正文

持续进行中。。。

目标：

• 动态User-Agent模拟浏览器 √
• 支持Proxy设置，避免被服务器端拒绝 √
• 支持多核模式，发挥多核CPU性能 √
• 支持核内并发模式 √
• 自动解码非英文站点，避免乱码出现 √
• 自动队列管理，持续化PUSH √
• 自动抓取文章标题和正文 √
• 性能优化
• 测试用例，自动化测试

我的测试环境：

• 9 台安装 ElasticSearch 1.3.2 的 centos，48G内存，8核
• 3 台 Node.js v0.11.14 的 centos，16G内存，8核，用作爬虫
• 3 台 NSQD 服务器， 用作爬虫解耦后的数据订阅和发送，与爬虫共用， 其中 1 台部署 NSQ Lookupd
• 国内主要门户的站点管理，使用Kue，链接，正文之间的传递采用NSQ

结果：

• 日均数据 50W 左右

开源地址：https://github.com/Tjatse/spider2