使用Node.js搭建数据爬虫crawler

0. 通用爬虫框架包括：

（1） 将爬取url加入队列，并获取指定url的前端资源（crawler爬虫框架主要使用Crawler类进行抓取网页）

（2）解析前端资源，获取指定所需字段的值，即获取有价值的信息（crawler框架主要使用Cheerio解析DOM）

（3）将有价值的字段内容存储，持久化到数据库，或直接使用IO写入文件（使用Node.js的IO操作或数据库操作）

特性：

（1）一般获取到前端资源后通过管道传输数据并异步处理数据；或者使用异步回调函数进行处理数据

1. node-crawler的下载与安装

（1）使用Web Storm新建一个空项目

（2）在空项目下执行npm init --yes创建packages.json文件管理已安装包

（3）安装爬虫crawler包

npm install crawler

a. 在nodejs根目录下运行， 也能在项目根目录下运行， 在哪个目录下运行则安装在哪个目录的node_modules目录下

b. 如果在应用程序的根目录下运行，则会安装在项目根目录下生成文件夹node_modules, 里面是安装包

2. 第一个简单的crawler爬虫应用程序

server.js

var Crawler = require("crawler");

var c = new Crawler({
    maxConnections : 10,
    // 这个回调每个爬取到的页面都会触发
    callback : function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            var $ = res.$;
            // $默认使用Cheerio
            // 这是为服务端设计的轻量级jQuery核心实现
            console.log($("title").text());
        }
        done();
    }
});

// 爬取一个URL，使用默认的callback
c.queue('http://www.taobao.com');

// 爬取URL列表
c.queue(['http://www.jd.com/','http://www.baidu.com']);

// 爬取页面，自定义callback和参数
c.queue([{
    uri: 'http://www.youku.com/',
    jQuery: false,

    // 覆盖全局的callback
    callback: function (error, res, done) {
        if(error){
            console.log(error);
        }else{
            console.log('Grabbed', res.body.length, 'bytes');
        }
        done();
    }
}]);

// 在队列中加入一些HTML代码，无需爬取(mostly for tests)
c.queue([{
    html: '<p>This is a <strong>test</strong></p>'
}]);

在控制台输入node server.js运行； 或者使用IDE工具中的Debugger工具

爬虫Crawler经典模型伪代码:

c = new Crawler();

handler = [{
    'uri': url,
    'jquery':true,
    'callback': function(){
     data = crawler_get_data();
     res = db_store_data(data);  　　　　# 也可以在这里获取新的url，并将新的url添加到爬虫中
    }
}];

c.queue(handler)

3. 使用Cheerio即jQuery的核心实现来操作DOM元素，所有操作DOM的API和jQuery是一模一样的

优点：

a. 熟悉的语法，和jQuery操作DOM是一模一样的

b. 解析速度快，至少是JSDOM的8倍

c. 极其灵活，使用htmlparser2，几乎可以解析所有的html和xml

（1）解析html

$ = cheerio.load(html, {})

（2）选择器

（3）属性操作

attr()

removeAttr()

addClass()

removeClass()

hasClass()

（4）遍历

find()

parent()

next()

prev()

siblings()

children()

each()

map()

filter()

first()

last()

eq()

（5）操作DOM

append()

prepend()

before()

after()

remove()

replaceWith()

empty()

html()

text()

（6）解析和渲染

html()

toArray()

clone()

如何将HTML页面提取出部分文本内容

• 去除网页中的HTML标签

• 将网页中的HTML标签替换为空字符串
• 使用cherrio模块实现内容提取