nodejs爬虫案例笔记

用nodeJs制作一个简单的网页爬虫

主要分为三个步骤，向目标请求数据，处理数据，打印数据。需要用到的模块有http，cheerio。

1.准备步骤，引入要使用的模块

2.向目标请求数据

http.get(url,function(res){
    var html='';

    res.on("data",function(data){
        html+=data;
    })

     res.on("end",function(){
         var couseData=filterChapter(html);//处理

         printcouse(couseData);//打印
     })
}).on("error",function(){
    console.log("something is error")
})

知识点：res服务器响应有两个事件，data事件是数据传输时触发，如果数据量比较大的话，会将数据分为小段小段的接受，每次都会触发data事件。end事件，所有数据接受完毕时触发。

3.处理数据

function filterChapter(html){
    var $=cheerio.load(html);

    var chapters=$(".chapter");

    var couseData=[];

    chapters.each(function(){
        var chapter=$(this);
        var chapterTil=chapter.find("strong").text();
        var chapterCon=chapter.find(".video").children("li");

        var chapterData={
            chapterTil:chapterTil,
            chapterCon:[]
        }
        chapterCon.each(function(){
            var chapterDetail=$(this).find(".studyvideo");
            var chapterDetailTil=chapterDetail.text();
            var id=chapterDetail.attr("href").split("video/")[1];

            chapterData.chapterCon.push({
                title:chapterDetailTil,
                id:id
            })
        })

        couseData.push(chapterData)
    })

    return couseData;

}

知识点：cheerio模块几乎能够解析任何的 HTML 和 XML document，并用jquery来进行dom操作。它为服务器特别定制的，快速、灵活、实施的jQuery核心实现。

在这里是要找到课程章节名称及子栏目

4.打印数据

function printcouse(couseData){
    couseData.forEach(function(item){
        chapterTil=item.chapterTil;

        console.log(chapterTil+"\n");

        item.chapterCon.forEach(function(chapterDetail){
            console.log(chapterDetail.id+chapterDetail.title+"\n")
        })
    })
}

以上只能抓取一个页面的课程数据，接下来是要在此基础上抓取多个页面的数据。

增加模块promise

1.对请求数据部分的处理，改成返回一个promise对象，方便后续的并发控制

function getPageAsync(url){
    return new Promise(function(resolve,reject){
        console.log("正在爬取课程")

        http.get(url,function(res){
            var html='';

            res.on("data",function(data){
                html+=data;
            })

             res.on("end",function(){
                 resolve(html)//resolve就是promise对象接下来要回调的函数
             })
            }).on("error",function(e){
                reject(e)
                console.log("something is error")
            })
    })
}

2.根据不同的url返回promise对象，将他们都放到数组里面

var videoIds=[348,259,197,75];
var fetchCouseArr=[];//promiser对象数组
videoIds.forEach(function(id){
    fetchCouseArr.push(getPageAsync(baseUrl+id))//存入数组
})

3.并发控制，同时抓取多个页面数组

Promise
.all(fetchCouseArr)//all方法接受一个数组，返回多个promise对象，每个promise对象都执行接下来的操作
.then(function(pages){//pages就是每个要去爬的页面
    var cousesData=[]

    pages.forEach(function(pages){
        var courses=filterChapter(pages)//数据处理

        cousesData.push(courses)
    })

    cousesData.sort(function(a,b){
        return a.number<b.number
    })

    printcouse(cousesData)//数据打印
})

知识点：promise的all方法接受一个数组参数，对于数组内的每个promise对象都执行接下来的操作，上面请求数据时最后返回的reslove(html)在这里就是then方法内的回调函数，pages参数就是请求到的html数据。

4.数据处理和数据打印原理还是和最开始一样

function filterChapter(html){
    var $=cheerio.load(html);

    var Title=$("#main .path>a").eq(3).children("span").text();

    var number=parseInt($(".meta-value").eq(2).children("strong").text(),10); 

    var couseData={
        Title:Title,
        videos:[],
        number:number
    };

     var chapters=$(".chapter");

    chapters.each(function(){
        var chapter=$(this);
        var chapterTil=chapter.find("strong").text();
        var chapterCon=chapter.find(".video").children("li");

        var chapterData={
            chapterTil:chapterTil,
            chapterCon:[]
        }
        chapterCon.each(function(){
            var chapterDetail=$(this).find(".studyvideo");
            var chapterDetailTil=chapterDetail.text();
            var id=chapterDetail.attr("href").split("video/")[1];

            chapterData.chapterCon.push({
                title:chapterDetailTil,
                id:id
            })
        })

        couseData.videos.push(chapterData)
    })

    return couseData;

}

function printcouse(cousesData){
    cousesData.forEach(function(courseData){
        console.log(courseData.number+'人学过'+courseData.Title+'\n')
    })

    cousesData.forEach(function(courseData){
        console.log('###'+courseData.Title+'\n')

        courseData.videos.forEach(function(item)
        {
        //console.log('###'+item.chapterTil+'\n')
        var chapterTil=item.chapterTil;

        console.log(chapterTil+"\n");

        item.chapterCon.forEach(function(chapterDetail){
            console.log(chapterDetail.id+chapterDetail.title+"\n")
        })
    })
    })
}