[js高手之路]Node.js+jade+mongodb+mongoose实现爬虫分离入库与生成静态文件

接着这篇文章[js高手之路]Node.js+jade抓取博客所有文章生成静态html文件继续，在这篇文章中实现了采集与静态文件的生成，在实际的采集项目中， 应该是先入库再选择性的生成静态文件。

那么我选择的数据库是mongodb,为什么用这个数据库，因为这个数据库是基于集合，数据的操作基本是json，与dom模块cheerio具有非常大的亲和力，cheerio处理过滤出来的数据，可以直接插入mongodb,不需要经过任何的处理，非常的便捷，当然跟node.js的亲和力那就不用说了，更重要的是，性能很棒。这篇文章我就不具体写mongodb的基本用法，到时候会另起文章从0开始写mongodb基本常用用法.先看下入库的效果与生成静态文件的效果:

我在这个阶段，把爬虫分离成2个模块，采集入库( crawler.js ), 生成静态文件(makeHtml.js).

crawler.js：

 var http = require('http');
 var cheerio = require('cheerio');
 var mongoose = require('mongoose');
 mongoose.Promise = global.Promise;
 var DB_URL = 'mongodb://localhost:27017/crawler';

 var aList = []; //博客文章列表信息
 var aUrl = []; //博客所有的文章url

 var db = mongoose.createConnection(DB_URL);
 db.on('connected', function (err) {
     if (err) {
         console.log(err);
     } else {
         console.log('db connected success');
     }
 });
 var Schema = mongoose.Schema;
 var arcSchema = new Schema({
     id: Number, //文章id
     title: String, //文章标题
     url: String, //文章链接
     body: String, //文章内容
     entry: String, //摘要
     listTime: Date //发布时间
 });
 var Article = db.model('Article', arcSchema);

 function saveArticle(arcInfo) {
     var arcModel = new Article(arcInfo);
     arcModel.save(function (err, result) {
         if (err) {
             console.log(err);
         } else {
             console.log(`${arcInfo['title']}   插入成功`);
         }
     });
 }

 function filterArticle(html) {
     var $ = cheerio.load(html);
     var arcDetail = {};
     var title = $("#cb_post_title_url").text();
     var href = $("#cb_post_title_url").attr("href");
     var re = /\/(\d+)\.html/;
     var id = href.match(re)[1];
     var body = $("#cnblogs_post_body").html();
     return {
         id: id,
         title: title,
         url: href,
         body: body
     };
 }

 function crawlerArc(url) {
     var html = '';
     var str = '';
     var arcDetail = {};
     http.get(url, function (res) {
         res.on('data', function (chunk) {
             html += chunk;
         });
         res.on('end', function () {
             arcDetail = filterArticle(html);
             saveArticle(arcDetail);
             if ( aUrl.length ) {
                 setTimeout(function () {
                     if (aUrl.length) {
                         crawlerArc(aUrl.shift());
                     }
                 }, 100);
             }else {
                 console.log( '采集任务完成' );
                 return;
             }
         });
     });
 }

 function filterHtml(html) {
     var $ = cheerio.load(html);
     var arcList = [];
     var aPost = $("#content").find(".post-list-item");
     aPost.each(function () {
         var ele = $(this);
         var title = ele.find("h2 a").text();
         var url = ele.find("h2 a").attr("href");
         ele.find(".c_b_p_desc a").remove();
         var entry = ele.find(".c_b_p_desc").text();
         ele.find("small a").remove();
         var listTime = ele.find("small").text();
         var re = /\d{4}-\d{2}-\d{2}\s*\d{2}[:]\d{2}/;
         listTime = listTime.match(re)[0];

         arcList.push({
             title: title,
             url: url,
             entry: entry,
             listTime: listTime
         });
     });
     return arcList;
 }

 function nextPage(html) {
     var $ = cheerio.load(html);
     var nextUrl = $("#pager a:last-child").attr('href');
     if (!nextUrl) return getArcUrl(aList);
     var curPage = $("#pager .current").text();
     if (!curPage) curPage = 1;
     var nextPage = nextUrl.substring(nextUrl.indexOf('=') + 1);
     if (curPage < nextPage) crawler(nextUrl);
 }

 function crawler(url) {
     http.get(url, function (res) {
         var html = '';
         res.on('data', function (chunk) {
             html += chunk;
         });
         res.on('end', function () {
             aList.push(filterHtml(html));
             nextPage(html);
         });
     });
 }

 function getArcUrl(arcList) {
     for (var key in arcList) {
         for (var k in arcList[key]) {
             aUrl.push(arcList[key][k]['url']);
         }
     }
     crawlerArc(aUrl.shift());
 }

 var url = 'http://www.cnblogs.com/ghostwu/';
 crawler(url);

其他的核心模块没有怎么改动，主要增加了数据库连接，数据库创建，集合创建( 集合相当于关系型数据库中的表 )，Schema( 相当于关系型数据库的表结构 ).
mongoose操作数据库( save:插入数据 ).分离了文件生成模块.

makeHtml.js文件

 var fs = require('fs');
 var jade = require('jade');

 var mongoose = require('mongoose');
 mongoose.Promise = global.Promise;
 var DB_URL = 'mongodb://localhost:27017/crawler';

 var allArc = [];
 var count = 0;

 var db = mongoose.createConnection(DB_URL);
 db.on('connected', function (err) {
     if (err) {
         console.log(err);
     } else {
         console.log('db connected success');
     }
 });
 var Schema = mongoose.Schema;
 var arcSchema = new Schema({
     id: Number, //文章id
     title: String, //文章标题
     url: String, //文章链接
     body: String, //文章内容
     entry: String, //摘要
     listTime: Date //发布时间
 });
 var Article = db.model('Article', arcSchema);

 function makeHtml(arcDetail) {
     str = jade.renderFile('./views/layout.jade', arcDetail);
     ++count;
     fs.writeFile('./html/' + count + '.html', str, function (err) {
         if (err) {
             console.log(err);
         }
         console.log( `${arcDetail['id']}.html创建成功` + count );
         if ( allArc.length ){
             setTimeout( function(){
                 makeHtml( allArc.shift() );
             }, 100 );
         }
     });
 }

 function getAllArc(){
     Article.find( {}, function( err, arcs ){
         allArc = arcs;
         makeHtml( allArc.shift() );
     } ).sort( { 'id' : 1 } );
 }
 getAllArc();