Node.js 爬虫爬取电影信息

Node.js 爬虫爬取电影信息

我的CSDN地址：https://blog.csdn.net/weixin_45580251/article/details/107669713

爬取的是1905电影网的信息，使用的是正则匹配。

本来为了更好地学习异步编程打好基础，没想到这玩意这么上头。

代码也写了好几天，自己技术不到家，肯定有写的不好的地方，还需要多努力。

下个月争取把vue学完，九月估计该开学了。

代码在最下面

const request=require('request');
const url="https://www.1905.com/vod/list/n_1/o3p1.html";
const fs=require('fs');
const { resolve } = require('path');

function req(url){
    return new Promise((resolve,reject)=>{
        request.get(url,(err,response,body)=>{
            if(err) reject(err)
            else resolve({response,body});
        })
    })
}

//获取起始界面的所有分类地址
async function getClassUrl(){
    let {response,body}=await req(url);
    // console.log(body);
    let reg1=/<span class="search-index-L">类型 :<\/span>(.*?)<div class="grid-12x">/igs;   //i不区分大小写 g全局 s让.匹配换行
    let result1=reg1.exec(body)[1];
    let reg2=/<a href="javascript\:void\(0\);" onclick="location\.href='(.*?)';return false;"(.*?)>(.*?)<\/a>/igs;
    let result2="";
    // console.log(reg2.exec(result1));
    let urlArr=[];
    while(result2=reg2.exec(result1)){
        if(result2[3]!="全部"){
            let obj={
                className:result2[3],
                url:result2[1]
            }
            urlArr.push(obj);
            fs.mkdir("./movies/"+result2[3],{ recursive: true },(err) => {
                    if (err) throw err;
                });
            getMovies(result2[1],result2[3]);
            // console.log(result2.index);
            // console.log(reg2.lastIndex);
        }
    }
    // console.log(urlArr.length);      //17个分类
};

//通过分类栏，获取页面中的电影连接
async function getMovies(url,className){
    let {response,body}=await req(url);
    let reg3=/<a class="pic-pack-outer" target="_blank" href="(.*?)".*?><img/igs;
    let result3="";
    let urlArr=[];
    while(result3=reg3.exec(body)){
        urlArr.push(result3[1]);
        getDate(result3[1],className);
    }
}

//对电影详情页进行分析
async function getDate(url,className){
    let {response,body}=await req(url);
    let reg1=/<h1 class="playerBox-info-name playerBox-info-cnName">(.*?)<\/h1>/;
    // let reg4=/<!-- 文字简介 -->.*?<span id="playerBoxIntroCon">(.*?)<a href="(.*?)" target="_blank" data-hrefexp="fr=vodplay_ypzl_xx">\.\.\.<span>[详细]/;
    let result1=reg1.exec(body);
    // console.log(result1[1]);
    let reg2=/<span id="playerBoxIntroCon">(.*?)<a href="(.*?)" /;
    let result2=reg2.exec(body);
    // console.log(result2[2]);
    writeFile(result1,result2,url,className);

}
//写入文件
async function writeFile(result1,result2,url,className){
    let movie={
        name:result1[1],
        brief:result2[1],
        url:url,
        details:result2[2]
    };
    let data=JSON.stringify(movie);
    fs.writeFile(`./movies/${className}/${movie.name}.json`,data,(err)=>{
        if (err) {return console.log(err)}
    });
    //下面的写入流写法也可以
    // let w = fs.createWriteStream(`./movies/${className}/${movie.name}.json`);
    // w.write(data,'utf-8');
    // w.end;
    // w.on('error', function(err){
    //     console.log(err.stack);
    //  });
};
getClassUrl();