node.js+mongodb 爬虫

demo截图：

本demo爬瓜子二手车北京区的数据 (注:需要略懂 node.js / mongodb 不懂也没关系 因为我也不懂啊~~~)

之所以选择爬瓜子二手车网站有两点：

一、网站无需登录，少做模拟登录；

二、数据链接没有加密，直接可以用；

网上很多node.js爬虫的栗子

但大多是一个页面的栗子，很少跟数据库结合的 所以我这个栗子是糖炒的

我的基本思路是这样的

1、先在mongodb里存所有页的链接地址的集合

2、在根据这些链接地址 一个一个的把详细信息爬下来

第一步在搜索页找到翻页的规律

像搜索页北京区第一页就是

https://www.guazi.com/bj/buy/o1/

第二页

https://www.guazi.com/bj/buy/o2/

规律就是

https://www.guazi.com/bj/buy/o + number

然后第一页的时候你就可以知道最多50页

这样你就可以循环这些链接在把每个页面的车的详情链接存到mongodb的集合里

第二步读mongodb的集合找出所有的链接 循环链接爬详情页数据

项目目录:

目录讲解：

reptile.js      //爬所有链接的;

carinfo.js     //爬车辆详情页;

package.json  //配置文件

package.json:

 {
   "name": "sell-car",
   "version": "1.0.0",
   "description": "",
   "main": "index.js",
   "scripts": {
     "test": "echo \"Error: no test specified\" && exit 1"
   },
   "author": "",
   "license": "ISC",
   "devDependencies": {
     "cheerio": "^0.22.0",
     "mongoose": "^4.7.1"
   }
 }

reptile.js 存mongodb集合   在cmd执行的 node reptile.js

 'use strict';
 var http = require('https');                      //node https 模块;
 var cheerio = require('cheerio');                 //解析html模块；
 var mongoose = require('mongoose');               //操作mongodb数据库模块;
 mongoose.connect('mongodb://localhost/car');      //链接数据库;

 var num = 0;                                      //当前第几页;
 var maxNum = 0;                                   //最大页数;

 var url = 'https://www.guazi.com/bj/buy/o';       //瓜子二手车搜索页北京区；  

 var PersonSchema = new mongoose.Schema({          //json的结构;
       address:String   //定义一个属性name，类型为String
     });

 var sellCar = mongoose.model('sell_car', PersonSchema );   //创建model

 fetchPage(url+1);           //主程序开始运行

 function fetchPage(x) {     //封装了一层函数
     startRequest(x);
 }

 function startRequest(x) {
     //采用http模块向服务器发起一次get请求
     http.get(x, function (res) {   

         var html = '';             //用来存储请求网页的整个html内容
         var titles = [];
         res.setEncoding('utf-8');  //防止中文乱码
         //监听data事件，每次取一块数据
         res.on('data', function (chunk) { 

             html += chunk;

         });

         //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数
         res.on('end', function () {

             var $ = cheerio.load(html);   //采用cheerio模块解析html

             var $a_src = $('.imgtype');   //读取出当前搜索页每辆车详情的地址;

             $a_src.each(function(i,obj){   //循环每地址链接存入数据库;

                 var _src = $(obj).attr('href');

                 var carHref = new sellCar({ address: _src });  //存入mongodb;
                 carHref.save(function (err) {
                   if (err) {
                     console.log(err);
                   }
                 });

              })

          num++;  //页码增加;

          if( num == 1 ){         //判断是第一次，给最大页数赋值;
             maxNum = $('.pageLink li').eq($('.pageLink li').length-2).find('span').text();
          }

          if( num == maxNum ){    //页数等于最大页数等值程序;
            return ;
          }

          fetchPage(url+num);

        });

     });
 }

carinfo.js 车辆详情 在cmd执行 node  carinfo.js

 'use strict';
 var http = require('https');                    //node https 模块;
 var cheerio = require('cheerio');               //解析html模块；
 var mongoose = require('mongoose');             //操作mongodb数据库模块;
 mongoose.connect('mongodb://localhost/car');    //链接数据库;    

 var readCarPer = new mongoose.Schema({          //json的结构;
       address:String
     });

 var PersonSchema = new mongoose.Schema({        //定义json类型;
         info:String,                  //车；
         money:String,                 //价钱;
         phone:String,                 //电话号码;
         time:String,                  //上牌时间;
         mileage:String,               //公里数;
         gearbox:String,               //变速箱;
         emission:String,              //排放标准;
         location:String,              //上牌地;
         imgs:Array                    //图片;
     });

 var num = 0;
 var readCar = mongoose.model('sell_cars',readCarPer);
 var sellCarInfo = mongoose.model('sell_carInfo', PersonSchema );

 var json = null;
 var url = 'https://www.guazi.com';    //补链接前边的链接;
 var time = null;                      //间隔时间;
 var maxNum = 0;                       

 readCar.find({},function(err, character){   //查找数据;

     console.log('成功读取地址');              

     if(err){
         console.log(err);
     }else{
         json = character;
         maxNum = json.length;

         calls();

     }

 })

 function calls(){
    num++;
    if( num > maxNum ){      //判断是否霸区成功;
         console.log('数据爬去完成~~~');
         return false;
    }

    clearTimeout(time);
    var lu = json[num].address;

    time = setTimeout(function(){

         fetchPage(url+lu);      //主程序开始运行

    },5000);

 }

 function fetchPage(x) {     //封装了一层函数
     startRequest(x);
 }

 function startRequest(x) {
     console.log(x);
      //采用http模块向服务器发起一次get请求
     http.get(x, function (res) {   

         var html = '';        //用来存储请求网页的整个html内容
         var titles = [];
         res.setEncoding('utf-8'); //防止中文乱码
         //监听data事件，每次取一块数据
         res.on('data', function (chunk) { 

             html += chunk;

         });

         //监听end事件，如果整个网页内容的html都获取完毕，就执行回调函数
         res.on('end', function () {

             var $ = cheerio.load(html); //采用cheerio模块解析html

             var info = $('.dt-titletype').text()                    //车名；
             var money =  $('.numtype').text();                      //钱；
             var phone = $('.teltype').eq(0).text();                 //电话
             var time = $('.assort li').eq(0).find('b').text();      //上牌时间
             var mileage = $('.assort li').eq(1).find('b').text();   //里程数
             var gearbox = $('.assort li').eq(2).find('b').text();   //变速箱
             var emission = $('.assort li').eq(3).find('b').text();  //排放标准
             var location = $('.assort li').eq(4).find('b').text();  //上牌地

             var $imgs = $('.dt-pictype img');
             var imgs = [];

             $imgs.each(function(i,obj){                             //图片循环赋值;
                 var img_src = $(obj).attr('data-original');
                 imgs.push(img_src);
             });

             var carInfos = new sellCarInfo({      //保存数据;
                 info:info,
                 money:money,
                 phone:phone,
                 time:time,
                 mileage:mileage,
                 gearbox:gearbox,
                 emission:emission,
                 location:location,
                 imgs:imgs
             });

             carInfos.save(function (err) {
               if (err) {
                 console.log(err);
               } else {
                 console.log('成功数据！~~~');
                 calls();
               }
             });

        });

     });
 } 

当时爬数据的截屏:

后记：

这里我没说 mongodb 安装、启动、设置存储地址 是因为 mongodb本身在window和mac其实是不一样的所以需要你自己在找找别的文章看看怎么配置(注：window跑真的挺蛋疼的。。。。欢迎去感受一下)

这个栗子的第一个条件就是你要现在cmd里跑起来mongodb 要不剩下的都是白瞎

简单的mongodb的增删改查看看 菜鸟教程 就行 实在不行用Robomongo图形界面也行

说一个小问题

就是我在爬搜索的车辆链接的时候 因为下一页设置的间隔时间比较短 原本2000条的数据最后只爬下来1160,所以爬车辆详情的时候把间隔调成了5秒 需要注意一下;

如图：

参考资料:

小小石头的那些事儿  :  http://blog.csdn.net/yezhenxu1992/article/details/50820629

菜鸟教程               :  http://www.runoob.com/mongodb/mongodb-tutorial.html