1.爬虫：爬虫，是一种按照一定的规则，自动地抓取网页信息的程序或者脚本；利用NodeJS实现一个简单的爬虫案例，爬取Boss直聘网站的web前端相关的招聘信息，以广州地区为例；

2.脚本所用到的nodejs模块

express     用来搭建一个服务，将结果渲染到页面

swig          模板引擎

cheerio      用来抓取页面的数据

requests    用来发送请求数据(具体可查:https://www.npmjs.com/package/requests)

async        用来处理异步操作，解决请求嵌套的问题，脚本中只使用了async.whilst(test,iteratee,callback),具体可见：https://caolan.github.io/async/

3.实现流程：

首先先获取到所爬取页面的URL,打开boss直聘网站，搜索web前端既可以获取到https://www.zhipin.com/c101280100-p100901/?page=1&ka=page-next

然后通过Chrome浏览器打开F12,获取到信息中多对应的dom节点，即可知道想要获取信息；

4.代码实现

目录结构：

app.js

var cheerio = require('cheerio');

var requests = require('requests');

var async = require('async');

var express = require('express');

var swig = require('swig');

var app = express();

swig.setDefaults({cache:false});

app.set('views','./views/');

app.set('view engine','html');

app.engine('html',swig.renderFile);

app.get('/',function(req,res,next){

    var page = 1;  //当前页数

    var list = []; //保存记录

    async.whilst(

        function(){

            return page < 11;

        },

        function(callback){

            requests(`https://www.zhipin.com/c101280100-p100901/?page=${page}&ka=page-next`)

            .on('data',function(chunk){

            var $ = cheerio.load(chunk.toString());

            $('.job-primary').each(function(){

                var company = $(this).find('.info-company .company-text .name').text();

                var job_title = $(this).find('.info-primary .name .job-title').text();

                var salary = $(this).find('.info-primary .name .red').text();

                var description = $(this).find('.info-company .company-text p').text();

                var area = $(this).find('.info-primary p').text();

                var item = {

                    company:company,

                    job_title:job_title,

                    salary:salary,

                    description:description,

                    area:area

                };

                list.push(item);

            });

            page++;

            callback();

           }).on('end',function(err){

                   if(err){

                       console.log(err);

                   }

                   if(page==10){

                    res.render('index',{

                        lists:list

                    });

                }

           });

        },

        function(err){

            console.log(err);

        }

    );

});

//监听

app.listen(8080);

　view/index.html页面

<!DOCTYPE html>

<html lang="en">

<head>

    <meta charset="UTF-8">

    <title>Document</title>

</head>

<style>

    table{

        width:1300px;

        border:1px solid #ccc;

        border-collapse: collapse;

        text-align: center;

        margin:0 auto;

    }

    td,tr,th{

        border:1px solid #ccc;

        border-collapse: collapse;

    }

    tr{

        height:30px;

        line-height: 30px;

    }

</style>

<body>

    <table>

        <thead>

            <tr>

                <th>公司名称</th>

                <th>公司地址</th>

                <th>薪资</th>

                <th>公司描述</th>

                <th>岗位名称</th>

            </tr>

        </thead>

        <tbody>

            {% for list in lists %}

                <tr>

                    <td>{{list.company}}</td>

                    <td>{{list.area}}</td>

                    <td>{{list.salary}}</td>

                    <td>{{list.description}}</td>

                    <td>{{list.job_title}}</td>

                </tr>

            {% endfor %}

        </tbody>

    </table>

</body>

</html>

5.启动

直接通过 node app.js启动即可；

6.运行结果（http://localhost:8080），只截取部分数据

NodeJs实现简单的爬虫的更多相关文章

  1. 视频博文结合的教程：用nodejs实现简单的爬虫

    教学视频地址: https://v.qq.com/x/page/b0643tut4ze.html 前言   本喵最近工作中需要使用node,并也想晋升为全栈工程师,所以开始了node学习之旅,在学习过 ...

  2. nodeJS实现简单网页爬虫功能

    前面的话 本文将使用nodeJS实现一个简单的网页爬虫功能 网页源码 使用http.get()方法获取网页源码,以hao123网站的头条页面为例 http://tuijian.hao123.com/h ...

  3. nodejs的简单爬虫

    闲聊       好久没写博客了,前几天小颖在朋友的博客里看到了用nodejs的简单爬虫.所以小颖就自己试着做了个爬博客园数据的demo.嘻嘻......      小颖最近养了条泰日天,自从养了我家 ...

  4. nodejs实现最简单的爬虫

    本文将以抓取百度搜索结果中关键词的相关搜索为例子,教会大家以nodejs制作最简单的爬虫:  开始之前呢,先来个公众号求粉:      将使用的node模块及属性介绍:   request:     ...

  5. 用nodejs实现简单爬虫

    前言   本喵最近工作中需要使用node,并也想晋升为全栈工程师,所以开始了node学习之旅,在学习过程中, 我会总结一些实用的例子,做成博文和视频教程,以实例形式来理解体会node的用法,所以跟小猫 ...

  6. 每天几分钟跟小猫学前端之node系列：用node实现最简单的爬虫

    先来段求分小视频: https://www.iesdouyin.com/share/video/6550631947750608142/?region=CN&mid=6550632036246 ...

  7. 用node.js从零开始去写一个简单的爬虫

    如果你不会Python语言,正好又是一个node.js小白,看完这篇文章之后,一定会觉得受益匪浅,感受到自己又新get到了一门技能,如何用node.js从零开始去写一个简单的爬虫,十分钟时间就能搞定, ...

  8. Selenium + PhantomJS + python 简单实现爬虫的功能

    Selenium 一.简介 selenium是一个用于Web应用自动化程序测试的工具,测试直接运行在浏览器中,就像真正的用户在操作一样 selenium2支持通过驱动真实浏览器(FirfoxDrive ...

  9. asp.net简单小爬虫

    所谓爬虫简单点说,就是把别人网站上的东西爬下来,至于爬做什么用就看你自己了,比如:把别人网站上的东西爬下来放在自己网站中(感觉有点像小偷^v^). 这里随便写了一个爬虫代码(可以自己再去进行完善): ...

随机推荐

  1. Java学习---Java面试基础考核·

    Java中sleep和wait的区别 ① 这两个方法来自不同的类分别是,sleep来自Thread类,和wait来自Object类. sleep是Thread的静态类方法,谁调用的谁去睡觉,即使在a线 ...

  2. ASP.NET Core 返回文件、用户下载文件，从网站下载文件，动态下载文件

    ASP.NET Core 中,可以在静态目录添加文件,直接访问就可以下载.但是这种方法可能不安全,也不够灵活. 我们可以在 Controller 控制器中 添加 一个 Action,通过此Action ...

  3. ZT 设计模式六大原则（1）：单一职责原则

    zt 设计模式六大原则(1):单一职责原则 分类: 设计模式 2012-02-21 09:52 25059人阅读 评论(65) 收藏 举报 设计模式stringclass编程 (THERE SHOUL ...

  4. CyclicBarrier和CountDownLatch笔记

    一.CyclicBarrier的使用 Barrier是栅栏,障碍物的意思,这里将它理解为栅栏. Cyclic是重复利用的意思. CyclicBarrier:可重复利用的栅栏.这里附上官方文档的一句解释 ...

  5. Django settings.py 的media路径设置

    转载自:http://www.xuebuyuan.com/676599.html 在一个 models 中使用 FileField 或 ImageField 需要以下步骤: 1. 在你的 settin ...

  6. 【[CQOI2016]手机号码】

    递推版的数位dp 绝对的暴力美学 我们设\(dp[l][i][j][0/1][0/1][0/1]\)表示到了第\(l\)位,这一位上选择的数是\(i\),\(l-1\)位选择的数是\(j\),第一个\ ...

  7. php数组的定义和数组的赋值

    1.php执行过程 加载页面  语法检测 执行脚本 $arr=array(1,2,3); 索引数组 $arr=array("name"=>"user1", ...

  8. Dubbo实践（十四）生产者发布服务

    Export发布服务流程 Dubbo协议向注册中心发布服务:当服务提供方,向dubbo协议的注册中心发布服务的时候,是如何获取,创建注册中心的,如何注册以及订阅服务的,下面我们来分析其流程. 看如下配 ...

  9. Luogu_4197 Peaks

    P4197 Peaks 并不会克鲁斯卡尔重构树,于是就写了离线算法. 使用了最小生成树,启发式合并treap 在最小生成树,克鲁斯卡尔算法 时 ,将询问一块处理.便可以保证询问时边的要求.然后利用平衡 ...

  10. 关于如何解决bootstrap table 列 切换 刷新 高度不一样

    在使用bootstrap table时候,碰到bootstrap table 列 切换 刷新 高度不一样的问题,如图所示: 解决这个问题很简单,在你的页头加一句<!DOCTYPE html> ...