目的：

　　数据采集

　　写入本地文件备份

　　构建web服务器

　　将文件读取到网页中进行展示

目录结构：

package.json文件中的内容与上一篇一样:NodeJs+Request+Cheerio 采集数据

request :https://github.com/request/request 使得请求变得更容易，简单

cheerio:https://github.com/cheeriojs/cheerio 用来解析dom结构，类似jQuery，挺好用

app.js文件：

/**

 * 数据采集

 * 写入本地文件备份

 * 创建web服务器

 * 将文件读取到网页中进行展示

 */

//引入需要的包

var http = require('http');

//var path = require('path');

var request = require('request');

var cheerio = require('cheerio');

var fs = require('fs');

//定义常量

var dolphin = 'http://cn.dolphin.com/blog';

const filePath = '/NodeJsTest/test_7/sampleCollection/localFiles/opts.txt';

//数据请求

function dataRequest(dataUrl) {

    //发送请求

    request({

        url : dataUrl,

        method : 'GET'

    },function(err, red, body) {

        //请求到body

        if(err){

            console.log(dataUrl);

            console.error('[ERROR]Collection' + err);

            return;

        }

        if(dataUrl && dataUrl === dolphin){

            dataPraseDolphin(body);

        }

    })

}

/**

 * 解析html

 */

function dataPraseDolphin(body) {

    var $ = cheerio.load(body);

    var atricles = $('#content').children('.status-publish');

    for(var i = 0;i < atricles.length;i++){

        var article = atricles[i];

        var $a = $(article).find('.post-title .entry-title a');

        var $p = $(article).find('.post-content p');

        var $aVal = $($a).text();

        var $pVal = $($p).text();

        var localData;

        if($p){

            localData = '--------------'+ (i+1) +' Chapter------------------' + '\n'

                      + '标题：' + $aVal + '\n'

                      + '简介：' + $pVal + '\n'

                      + '时间：' + new  Date + '\n'

                      + '---------------------------------------------------' + '\n';

            console.log(localData);

            writeToLocal(localData,i);

        }

    }

}

/**

 * [writeToLocal description]

 * 将解析的数据 写入本地文件进行备份

 */

function writeToLocal(dataPage,fj){

    console.log('-------------准备写入文件------------------------')

    //同步写入文件，一般使用异步好

    fs.appendFileSync(filePath, dataPage);

}

/**

 * 创建web服务器

 * @return {[type]} [description]

 */

function createServer(){

    http.createServer(function(req,resp){

        console.log('服务启动！')

        wirteToPage(resp);

    }).listen(7000);

}

/**

 * 将抓取的数据写入页面

 */

function wirteToPage(resp){

    fs.readFile(filePath,function(err,data){

        if(err){

            console.log(err);

            resp.writeHead(404,{

                'Content-Type':'text/html'

            })

        }else{

            resp.writeHead(200,{

                //响应头添加编码格式解决乱码问题

                'Content-Type': 'text/plain;charset=utf-8'

            });

            //resp.write('<head><meta charset="utf-8"/></head>');

            resp.write(data.toString());

        }

        resp.end();

    })

}

//开始发送请求 并 采集数据

dataRequest(dolphin);

createServer();

Sublime 中 ctrl+B 执行

浏览器地址栏请求：http://localhost:7000

结果：

NodeJs+http+fs+request+cheerio 采集,保存数据,并在网页上展示(构建web服务器)的更多相关文章

  1. NodeJs+Request+Cheerio 采集数据

    目的:采集网站文章. 两个依赖项: request :https://github.com/request/request cheerio:https://github.com/cheeriojs/c ...

  2. textarea 带换行符保存数据与带换行符展示数据

    毕业设计进行ing~ 最近要想要实现一个站内邮箱,想要带换行地输出邮件主体内容. 这两天为了解决这个问题百度了好多东西,发现相关问题有很多记录,可能这确实是大多数初学者也碰到的问题.自己找了好多地方都 ...

  3. FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream流

    一.Windows下面编译ffmpeg 首先需要解决的问题是:在windows下面编译 ffmpeg, 并让其支持dshow, 本人把ffmpeg编译成功了, 但是编译出来的ffmpeg不支持dsho ...

  4. 【学习记录】C#保存数据至CSV文档 & DateTime格式模式控制解释

    数据类的定义: public class Result_Display { private string id; public string ID { get { return id; } set { ...

  5. node 创建静态web服务器（下）（处理异步获取数据的两种方式）

    接上一章. 上一章我们说创建的静态web服务器只能识别html,css,js文件,功能较为单一,且图片格式为text/html,这是不合理的. 本章,我们将解决该问题. 这里,我们先准备好一个json ...

  6. Android发送数据到web服务器4种方式

    1./** 2. * Android中向web服务器提交数据的两种方式四种方法 3. */ 4.public class SubmitDataByHttpClientAndOrdinaryWay { ...

  7. STM32L15x——ADC采集DMA数据只第一次正确（已解决）

    前提:我用的芯片是STM32L系列,可能对其它STM32系列不完全适用,仅供参考! 一.问题描述 我在使用DMA方式读取单ADC单通道采集的数据时,发现只能正确的采集一次数据,后来的就一直与第一次的相 ...

  8. C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

    第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel, ...

  9. Gobblin采集kafka数据

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程,话不多说,进入正题 一.Gobblin ...

随机推荐

  1. ABP入门系列（1）——学习Abp框架之实操演练

    作为.Net工地搬砖长工一名,一直致力于挖坑(Bug)填坑(Debug),但技术却不见长进.也曾热情于新技术的学习,憧憬过成为技术大拿.从前端到后端,从bootstrap到javascript,从py ...

  2. SQL Server镜像自动生成脚本

    SQL Server镜像自动生成脚本 镜像的搭建非常繁琐,花了一点时间写了这个脚本,方便大家搭建镜像 执行完这个镜像脚本之后,最好在每台机器都绑定一下hosts文件,不然的话,镜像可能会不work 1 ...

  3. 基于netty http协议栈的轻量级流程控制组件的实现

    今儿个是冬至,所谓“冬大过年”,公司也应景五点钟就放大伙儿回家吃饺子喝羊肉汤了,而我本着极高的职业素养依然坚持留在公司(实则因为没饺子吃没羊肉汤喝,只能呆公司吃食堂……).趁着这一个多小时的时间,想跟 ...

  4. js学习之函数的参数传递

    我们都知道在 ECMAScript 中,数据类型分为原始类型(又称值类型/基本类型)和引用类型(又称对象类型):这里我将按照这两种类型分别对函数进行传参,看一下到底发生了什么. 参数的理解 首先,我们 ...

  5. 【深入Java虚拟机】之四：类加载机制

    类加载过程     类从被加载到虚拟机内存中开始,到卸载出内存为止,它的整个生命周期包括:加载.验证.准备.解析.初始化.使用和卸载七个阶段.它们开始的顺序如下图所示: 其中类加载的过程包括了加载.验 ...

  6. 微信小程序教程汇总

    目前市面上在内测期间出来的一些实战类教程还是很不错的,主要还是去快速学习小程序开发的整体流程,一个组件一个组件的讲的很可能微信小程序一升级,这个组件就变了,事实本就如此,谁让现在是内测呢.我们不怕,下 ...

  7. ORA-00821: Specified value of sga_target 3072M is too small, needs to be at least 12896M

    在测试PlateSpine克隆的数据库服务器时,由于资源有限,克隆过来的数据库服务器只给了9G的内存,结果在测试时,老是会出现OOMkiller导致宕机,即out of memory killer,是 ...

  8. 执行git push出现"Everything up-to-date"

    在github上git clone一个项目,在里面创建一个目录,然后git push的时候,出现报错"Everything up-to-date" 原因:1)没有git add . ...

  9. 锤子OneStep及BigBang使用体验

    令人期待的Smartisan OS v3.1.2终于推送了,第一时间下载了更新.几乎花了半个小时才升级完毕,捧着还热乎的手机,赶忙体验一下传说中的两大杀器:OneStep以及BigBang. 先说On ...

  10. android内部培训视频_第四节(1)_异步网络操作

    第四节(1):异步网络操作  一.结合asyncTask下载网络图片 1.定义下载类,继承自asyncTask,参数分别为:String(url地址),Integer(刻度,本例没有用到),BitMa ...