目的：

　　数据采集

　　写入本地文件备份

　　构建web服务器

　　将文件读取到网页中进行展示

目录结构：

package.json文件中的内容与上一篇一样:NodeJs+Request+Cheerio 采集数据

request :https://github.com/request/request 使得请求变得更容易，简单

cheerio:https://github.com/cheeriojs/cheerio 用来解析dom结构，类似jQuery，挺好用

app.js文件：

/**

 * 数据采集

 * 写入本地文件备份

 * 创建web服务器

 * 将文件读取到网页中进行展示

 */

//引入需要的包

var http = require('http');

//var path = require('path');

var request = require('request');

var cheerio = require('cheerio');

var fs = require('fs');

//定义常量

var dolphin = 'http://cn.dolphin.com/blog';

const filePath = '/NodeJsTest/test_7/sampleCollection/localFiles/opts.txt';

//数据请求

function dataRequest(dataUrl) {

    //发送请求

    request({

        url : dataUrl,

        method : 'GET'

    },function(err, red, body) {

        //请求到body

        if(err){

            console.log(dataUrl);

            console.error('[ERROR]Collection' + err);

            return;

        }

        if(dataUrl && dataUrl === dolphin){

            dataPraseDolphin(body);

        }

    })

}

/**

 * 解析html

 */

function dataPraseDolphin(body) {

    var $ = cheerio.load(body);

    var atricles = $('#content').children('.status-publish');

    for(var i = 0;i < atricles.length;i++){

        var article = atricles[i];

        var $a = $(article).find('.post-title .entry-title a');

        var $p = $(article).find('.post-content p');

        var $aVal = $($a).text();

        var $pVal = $($p).text();

        var localData;

        if($p){

            localData = '--------------'+ (i+1) +' Chapter------------------' + '\n'

                      + '标题：' + $aVal + '\n'

                      + '简介：' + $pVal + '\n'

                      + '时间：' + new  Date + '\n'

                      + '---------------------------------------------------' + '\n';

            console.log(localData);

            writeToLocal(localData,i);

        }

    }

}

/**

 * [writeToLocal description]

 * 将解析的数据 写入本地文件进行备份

 */

function writeToLocal(dataPage,fj){

    console.log('-------------准备写入文件------------------------')

    //同步写入文件，一般使用异步好

    fs.appendFileSync(filePath, dataPage);

}

/**

 * 创建web服务器

 * @return {[type]} [description]

 */

function createServer(){

    http.createServer(function(req,resp){

        console.log('服务启动！')

        wirteToPage(resp);

    }).listen(7000);

}

/**

 * 将抓取的数据写入页面

 */

function wirteToPage(resp){

    fs.readFile(filePath,function(err,data){

        if(err){

            console.log(err);

            resp.writeHead(404,{

                'Content-Type':'text/html'

            })

        }else{

            resp.writeHead(200,{

                //响应头添加编码格式解决乱码问题

                'Content-Type': 'text/plain;charset=utf-8'

            });

            //resp.write('<head><meta charset="utf-8"/></head>');

            resp.write(data.toString());

        }

        resp.end();

    })

}

//开始发送请求 并 采集数据

dataRequest(dolphin);

createServer();

Sublime 中 ctrl+B 执行

浏览器地址栏请求：http://localhost:7000

结果：

NodeJs+http+fs+request+cheerio 采集,保存数据,并在网页上展示(构建web服务器)的更多相关文章

  1. NodeJs+Request+Cheerio 采集数据

    目的:采集网站文章. 两个依赖项: request :https://github.com/request/request cheerio:https://github.com/cheeriojs/c ...

  2. textarea 带换行符保存数据与带换行符展示数据

    毕业设计进行ing~ 最近要想要实现一个站内邮箱,想要带换行地输出邮件主体内容. 这两天为了解决这个问题百度了好多东西,发现相关问题有很多记录,可能这确实是大多数初学者也碰到的问题.自己找了好多地方都 ...

  3. FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream流

    一.Windows下面编译ffmpeg 首先需要解决的问题是:在windows下面编译 ffmpeg, 并让其支持dshow, 本人把ffmpeg编译成功了, 但是编译出来的ffmpeg不支持dsho ...

  4. 【学习记录】C#保存数据至CSV文档 & DateTime格式模式控制解释

    数据类的定义: public class Result_Display { private string id; public string ID { get { return id; } set { ...

  5. node 创建静态web服务器（下）（处理异步获取数据的两种方式）

    接上一章. 上一章我们说创建的静态web服务器只能识别html,css,js文件,功能较为单一,且图片格式为text/html,这是不合理的. 本章,我们将解决该问题. 这里,我们先准备好一个json ...

  6. Android发送数据到web服务器4种方式

    1./** 2. * Android中向web服务器提交数据的两种方式四种方法 3. */ 4.public class SubmitDataByHttpClientAndOrdinaryWay { ...

  7. STM32L15x——ADC采集DMA数据只第一次正确（已解决）

    前提:我用的芯片是STM32L系列,可能对其它STM32系列不完全适用,仅供参考! 一.问题描述 我在使用DMA方式读取单ADC单通道采集的数据时,发现只能正确的采集一次数据,后来的就一直与第一次的相 ...

  8. C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

    第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel, ...

  9. Gobblin采集kafka数据

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程,话不多说,进入正题 一.Gobblin ...

随机推荐

  1. SSH实战 · 唯唯乐购项目（上）

    前台需求分析 一:用户模块 注册 前台JS校验 使用AJAX完成对用户名(邮箱)的异步校验 后台Struts2校验 验证码 发送激活邮件 将用户信息存入到数据库 激活 点击激活邮件中的链接完成激活 根 ...

  2. 我为什么要写LeetCode的博客？

    # 增强学习成果 有一个研究成果,在学习中传授他人知识和讨论是最高效的做法,而看书则是最低效的做法(具体研究成果没找到地址).我写LeetCode博客主要目的是增强学习成果.当然,我也想出名,然而不知 ...

  3. requests的content与text导致lxml的解析问题

    title: requests的content与text导致lxml的解析问题 date: 2015-04-29 22:49:31 categories: 经验 tags: [Python,lxml, ...

  4. webapi - 模型验证

    本次要和大家分享的是webapi的模型验证,讲解的内容可能不单单是做验证,但都是围绕模型来说明的:首先来吐槽下,今天下午老板为自己买了套新办公家具,看起来挺好说明老板有钱,不好的是我们干技术的又成了搬 ...

  5. js学习之变量、作用域和内存问题

    js学习之变量.作用域和内存问题 标签(空格分隔): javascript 变量 1.基本类型和引用类型: 基本类型值:Undefined, Null, Boolean, Number, String ...

  6. 异步 HttpContext.Current 为空null 另一种解决方法

    1.场景 在导入通讯录过程中,把导入的失败.成功的号码数进行统计,然后保存到session中,客户端通过轮询显示状态. 在实现过程中,使用的async调用方法,出现HttpContext.Curren ...

  7. javascript动画系列第二篇——磁性吸附

    × 目录 [1]范围限定 [2]拖拽范围 [3]磁性吸附 前面的话 上一篇,我们介绍了元素拖拽的实现.但在实际应用中,常常需要为拖拽的元素限定范围.而通过限定范围,再增加一些辅助的措施,就可以实现磁性 ...

  8. slf4j中的MDC

    slf4j中MDC是什么鬼 slf4j除了trace.debug.info.warn.error这几个日志接口外,还可以配合MDC将数据写入日志.换句话说MDC也是用来记录日志的,但它的使用方式与使用 ...

  9. Jqprint实现页面打印

    好些项目需要实现页面打印,特别是一些后台管理类系统,下面介绍一款轻量级的打印插件: 1.实现页面打印要引入jQuery和Jqprint.点击下载Jqprint插件 <script languag ...

  10. TCP通信

    //网络套接字编程实例,服务器端,TCP通信. #include <WinSock2.h> #pragma comment(lib,"ws2_32.lib") #inc ...