nodejs实现简单爬虫

nodejs结合cheerio实现简单爬虫

 let cheerio = require("cheerio"),
     fs = require("fs"),
     util = require("util"),
     html = "",
     https = require('https'),
     list = [],
     buffer = null,
     newslist = [],
     url = 'https://www.yidaiyilu.gov.cn/';
     let req = https.request("https://www.yidaiyilu.gov.cn/",function(res){
       res.on("data",function(data){
         list.push(data)
       })
       res.on("end",function(){
           buffer = Buffer.concat(list)
           html = buffer.toString()
           $ = cheerio.load(html)
           for(var i=1;i<=3;i++){
             let dlist = `.con_yw_${i}`;
             $(".mybox .main-1").find(dlist).find('a').each((index,ele)=>{
               let txt = $(ele).text();
               let alink = $(ele).attr("href")
               let news = {};
               news["title"] = txt;
               news["url"] = url.substring(0,url.length-1)+alink;
               newslist.push(news)
             })
           }
           console.log(newslist)
       })
     })
     req.end()

显示结果：

 [ { title: '中俄加快“一管两桥”建设 打通经贸合作加速发展                                                                              瓶颈',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/93087.h                                                                              tm' },
   { title: '“穗满俄”班列高附加值商品占比增高 中欧班列加                                                                              速中俄贸易纵深发展',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/93099.h                                                                              tm' },
   { title: '服务贸易激发“一带一路”合作潜能 知识密集型高                                                                              端服务出口成亮点',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/93101.h                                                                              tm' },
   { title: '中国与欧亚经济联盟成员国签署海关信息交换协定                                                                              ',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/93103.h                                                                              tm' },
   { title: '中外资银行助力“一带一路”走深走实',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/93089.h                                                                              tm' },
   { title: '满洲里口岸站中欧班列日接车数量达20列创历史新                                                                              高',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/93131.h                                                                              tm' },
   { title: '中蒙签署建设中蒙二连浩特—扎门乌德经济合作区                                                                              协议',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/gnxw/92906.h                                                                              tm' },
   { title: '【越南】中企承建河内轻轨吉灵－河东线完成运营                                                                              演练',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/93135.h                                                                              tm' },
   { title: '【柬埔寨】中企承建“一带一路”西港热电工程正式                                                                              启动',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/93105.h                                                                              tm' },
   { title: '【俄罗斯】中国化学工程签订俄最大甲醇项目实施                                                                              协议 合同金额近15亿美元',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/93095.h                                                                              tm' },
   { title: '【巴基斯坦】巴媒：并非债务陷阱 中国是在挽救                                                                              巴经济',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/92935.h                                                                              tm' },
   { title: '【布隆迪】中国援布农业示范中心项目顺利通过中                                                                              期验收',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/92923.h                                                                              tm' },
   { title: '【匈牙利】中国品牌商品（中东欧）展在布达佩斯                                                                              举行',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/92716.h                                                                              tm' },
   { title: '【埃及】本班光伏产业园将在年内满负荷运行 中                                                                              国技术助力埃及建设“太阳能村”',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/92726.h                                                                              tm' },
   { title: '【俄罗斯】中俄首座跨境公路大桥合龙 俄官员：                                                                              造福两国人民的友谊之桥',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/hwxw/92724.h                                                                              tm' },
   { title: '【四川】中欧班列（成都-莫斯科）运贸一体化班                                                                              列实现每月25列稳定开行',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/93139.h                                                                              tm' },
   { title: '【四川】再推8项出入境便利措施 参与“一带一路”                                                                              建设享加急办证',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/93137.h                                                                              tm' },
   { title: '【云南】中老铁路11.3公里长通达隧道将于明年上                                                                              半年贯通',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/93133.h                                                                              tm' },
   { title: '【北京】“一带一路”国际合作发展论坛在京举行'
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/93093.h                                                                              tm' },
   { title: '【江西】探索成立“一带一路”中国瓷器之路旅游联                                                                              盟',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/93091.h                                                                              tm' },
   { title: '【河南】河南省印发实施口岸建设重点工作推进方                                                                              案',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/92848.h                                                                              tm' },
   { title: '【新疆】新疆“中欧班列集拼集运模式” 将在全国                                                                              复制推广',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/92760.h                                                                              tm' },
   { title: '【福建】福建加快“丝路”电商发展 增创外贸新优                                                                              势',
     url: 'https://www.yidaiyilu.gov.cn/xwzx/dfdt/92756.h                                                                              tm' } ]