目的：

　　数据采集

　　写入本地文件备份

　　构建web服务器

　　将文件读取到网页中进行展示

目录结构：

package.json文件中的内容与上一篇一样:NodeJs+Request+Cheerio 采集数据

request :https://github.com/request/request 使得请求变得更容易，简单

cheerio:https://github.com/cheeriojs/cheerio 用来解析dom结构，类似jQuery，挺好用

app.js文件：

/**

 * 数据采集

 * 写入本地文件备份

 * 创建web服务器

 * 将文件读取到网页中进行展示

 */

//引入需要的包

var http = require('http');

//var path = require('path');

var request = require('request');

var cheerio = require('cheerio');

var fs = require('fs');

//定义常量

var dolphin = 'http://cn.dolphin.com/blog';

const filePath = '/NodeJsTest/test_7/sampleCollection/localFiles/opts.txt';

//数据请求

function dataRequest(dataUrl) {

    //发送请求

    request({

        url : dataUrl,

        method : 'GET'

    },function(err, red, body) {

        //请求到body

        if(err){

            console.log(dataUrl);

            console.error('[ERROR]Collection' + err);

            return;

        }

        if(dataUrl && dataUrl === dolphin){

            dataPraseDolphin(body);

        }

    })

}

/**

 * 解析html

 */

function dataPraseDolphin(body) {

    var $ = cheerio.load(body);

    var atricles = $('#content').children('.status-publish');

    for(var i = 0;i < atricles.length;i++){

        var article = atricles[i];

        var $a = $(article).find('.post-title .entry-title a');

        var $p = $(article).find('.post-content p');

        var $aVal = $($a).text();

        var $pVal = $($p).text();

        var localData;

        if($p){

            localData = '--------------'+ (i+1) +' Chapter------------------' + '\n'

                      + '标题：' + $aVal + '\n'

                      + '简介：' + $pVal + '\n'

                      + '时间：' + new  Date + '\n'

                      + '---------------------------------------------------' + '\n';

            console.log(localData);

            writeToLocal(localData,i);

        }

    }

}

/**

 * [writeToLocal description]

 * 将解析的数据 写入本地文件进行备份

 */

function writeToLocal(dataPage,fj){

    console.log('-------------准备写入文件------------------------')

    //同步写入文件，一般使用异步好

    fs.appendFileSync(filePath, dataPage);

}

/**

 * 创建web服务器

 * @return {[type]} [description]

 */

function createServer(){

    http.createServer(function(req,resp){

        console.log('服务启动！')

        wirteToPage(resp);

    }).listen(7000);

}

/**

 * 将抓取的数据写入页面

 */

function wirteToPage(resp){

    fs.readFile(filePath,function(err,data){

        if(err){

            console.log(err);

            resp.writeHead(404,{

                'Content-Type':'text/html'

            })

        }else{

            resp.writeHead(200,{

                //响应头添加编码格式解决乱码问题

                'Content-Type': 'text/plain;charset=utf-8'

            });

            //resp.write('<head><meta charset="utf-8"/></head>');

            resp.write(data.toString());

        }

        resp.end();

    })

}

//开始发送请求 并 采集数据

dataRequest(dolphin);

createServer();

Sublime 中 ctrl+B 执行

浏览器地址栏请求：http://localhost:7000

结果：

NodeJs+http+fs+request+cheerio 采集,保存数据,并在网页上展示(构建web服务器)的更多相关文章

  1. NodeJs+Request+Cheerio 采集数据

    目的:采集网站文章. 两个依赖项: request :https://github.com/request/request cheerio:https://github.com/cheeriojs/c ...

  2. textarea 带换行符保存数据与带换行符展示数据

    毕业设计进行ing~ 最近要想要实现一个站内邮箱,想要带换行地输出邮件主体内容. 这两天为了解决这个问题百度了好多东西,发现相关问题有很多记录,可能这确实是大多数初学者也碰到的问题.自己找了好多地方都 ...

  3. FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream流

    一.Windows下面编译ffmpeg 首先需要解决的问题是:在windows下面编译 ffmpeg, 并让其支持dshow, 本人把ffmpeg编译成功了, 但是编译出来的ffmpeg不支持dsho ...

  4. 【学习记录】C#保存数据至CSV文档 & DateTime格式模式控制解释

    数据类的定义: public class Result_Display { private string id; public string ID { get { return id; } set { ...

  5. node 创建静态web服务器（下）（处理异步获取数据的两种方式）

    接上一章. 上一章我们说创建的静态web服务器只能识别html,css,js文件,功能较为单一,且图片格式为text/html,这是不合理的. 本章,我们将解决该问题. 这里,我们先准备好一个json ...

  6. Android发送数据到web服务器4种方式

    1./** 2. * Android中向web服务器提交数据的两种方式四种方法 3. */ 4.public class SubmitDataByHttpClientAndOrdinaryWay { ...

  7. STM32L15x——ADC采集DMA数据只第一次正确（已解决）

    前提:我用的芯片是STM32L系列,可能对其它STM32系列不完全适用,仅供参考! 一.问题描述 我在使用DMA方式读取单ADC单通道采集的数据时,发现只能正确的采集一次数据,后来的就一直与第一次的相 ...

  8. C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

    第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel, ...

  9. Gobblin采集kafka数据

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程,话不多说,进入正题 一.Gobblin ...

随机推荐

  1. jq跑马灯效果

    这几天公司产品有个无缝循环滚动的广告跑马灯要做,最开始想到的是<marquee>标签,但在PC端正常,在安卓广告屏上却怎么都跑不动,后来用的css3的animation,结果也是PC端及其 ...

  2. 在Sublime Text 3上安装代码格式化插件CodeFormatter

    1.了解CodeFormatter插件 在Sublime Text 3中编写代码,为了能让我们的代码格式变得漂亮整洁,需要一个能自动格式代码的插件.这里发现CodeFormatter插件不错,它能支持 ...

  3. 《Django By Example》第一章 中文 翻译 （个人学习，渣翻）

    书籍出处:https://www.packtpub.com/web-development/django-example 原作者:Antonio Melé (译者注:本人目前在杭州某家互联网公司工作, ...

  4. 前端自动化构建工具gulp记录

    一.安装 1)安装nodejs 通过nodejs的npm安装gulp,插件也可以通过npm安装.windows系统是个.msi工具,只要一直下一步即可,软件会自动在写入环境变量中,这样就能在cmd命令 ...

  5. ASP.Net MVC——使用 ITextSharp 完美解决HTML转PDF（中文也可以）

    前言: 最近在做老师交代的一个在线写实验报告的小项目中,有这么个需求:把学生提交的实验报告(HTML形式)直接转成PDF,方便下载和打印. 以前都是直接用rdlc报表实现的,可这次牵扯到图片,并且更为 ...

  6. C++常见笔试面试要点以及常见问题

    1. C++常见笔试面试要点: C++语言相关: (1) 虚函数(多态)的内部实现 (2) 智能指针用过哪些?shared_ptr和unique_ptr用的时候需要注意什么?shared_ptr的实现 ...

  7. psoc学习

    第一是:项目的路径需要放在Documents and Settings\,也就是默认的文件夹的地方,不然会报错错误范例为:Question:CY8CKIT-023 kit example projec ...

  8. Flexible 弹性盒子模型之CSS flex-basis 属性

    实例 设置第二个弹性盒元素的初始长度为 80 像素: div:nth-of-type(2){flex-basis:80px;}   效果预览 浏览器支持 表格中的数字表示支持该属性的第一个浏览器的版本 ...

  9. BPM合同管理解决方案分享

    一.方案概述合同是组织与组织间所订协议的法律 表现形式,体现着双方对于合作在法律和道德上的承诺.然而,大多数企业的合同管理都或多或少存在合同审批过程不规范.签订草率.审批权责不清.合同执行跟踪难.合同 ...

  10. 如何搭建git服务器

    一.前言 现在越来越多的公司用git进行版本控制,不过git是默认是开源的,如果私有的话是需要付费的,如果不想付费自己可以搭建一个git服务器用来版本控制. 二.服务器端操作 1.安装git sudo ...