nodejs实现网站数据的爬取

 // 引入https模块，由于我们爬取的网站采用的是https协议
 const https = require('https');
 // 引入cheerio模块，使用这个模块可以将爬取的网页源代码进行装载，然后使用类似jquery的语法去操作这些元素
 // 在cheerio不是内置模块，需要使用包管理器下载安装
 const cheerio = require('cheerio');
 // 这里以爬取拉钩网为例
 var url = "https://www.lagou.com/";
 // 使用https模块中的get方法，获取指定url中的网页源代码
 https.get(url, function (res) {
     var html = '';
     // 每当我们从指定的url中得到数据的时候,就会触发res的data事件,事件中的chunk是每次得到的数据,data事件会触发多次,因为一个网页的源代码并不是一次性就可以下完的
     res.on("data", function (chunk) {
         html += chunk;
     });
     // 当网页的源代码下载完成后, 就会触发end事件
     res.on("end", function () {
         //这里我们对下载的源代码进行一些处理
         doSomeThing(html);

     });
 });
 function doSomeThing(html) {
     // 使用cheerio模块装载我们得到的页面源代码,返回的是一个类似于jquery中的$对象
     var $ = cheerio.load(html);
     //使用这个$对象就像操作jquery对象一般去操作我们获取得到的页面的源代码
     var $menu_box = $(".menu_box");
     // 将我们需要的文字信息存储在一个数组中
     var result = [];
     $menu_box.each(function (i, item) {
         var obj = {};
         var h2 = $(item).find("h2").text().trim();
         obj.name = h2;
         var $as = $(item).find("a");
         obj.subName = [];
         $as.each(function (i, item) {
             obj.subName.push($(item).text());
         });
         result.push(obj);
     });
     //最后我们输出这个结果
     console.log(result);
 }

// 引入https模块，由于我们爬取的网站采用的是https协议

const https = require('https');

// 引入cheerio模块，使用这个模块可以将爬取的网页源代码进行装载，然后使用类似jquery的语法去操作这些元素

// 在cheerio不是内置模块，需要使用包管理器下载安装

const cheerio = require('cheerio');

// 这里以爬取拉钩网为例

var url = "https://www.lagou.com/";

// 使用https模块中的get方法，获取指定url中的网页源代码

https.get(url, function (res) {

var html = '';

// 每当我们从指定的url中得到数据的时候,就会触发res的data事件,事件中的chunk是每次得到的数据,data事件会触发多次,因为一个网页的源代码并不是一次性就可以下完的

res.on("data", function (chunk) {

html += chunk;

});

// 当网页的源代码下载完成后, 就会触发end事件

res.on("end", function () {

//这里我们对下载的源代码进行一些处理

doSomeThing(html);

});

});

function doSomeThing(html) {

// 使用cheerio模块装载我们得到的页面源代码,返回的是一个类似于jquery中的$对象

var $ = cheerio.load(html);

//使用这个$对象就像操作jquery对象一般去操作我们获取得到的页面的源代码

var $menu_box = $(".menu_box");

// 将我们需要的文字信息存储在一个数组中

var result = [];

$menu_box.each(function (i, item) {

var obj = {};

var h2 = $(item).find("h2").text().trim();

obj.name = h2;

var $as = $(item).find("a");

obj.subName = [];

$as.each(function (i, item) {

obj.subName.push($(item).text());

});

result.push(obj);

});

//最后我们输出这个结果

console.log(result);

}