目的：

　　数据采集

　　写入本地文件备份

　　构建web服务器

　　将文件读取到网页中进行展示

目录结构：

package.json文件中的内容与上一篇一样:NodeJs+Request+Cheerio 采集数据

request :https://github.com/request/request 使得请求变得更容易，简单

cheerio:https://github.com/cheeriojs/cheerio 用来解析dom结构，类似jQuery，挺好用

app.js文件：

/**

 * 数据采集

 * 写入本地文件备份

 * 创建web服务器

 * 将文件读取到网页中进行展示

 */

//引入需要的包

var http = require('http');

//var path = require('path');

var request = require('request');

var cheerio = require('cheerio');

var fs = require('fs');

//定义常量

var dolphin = 'http://cn.dolphin.com/blog';

const filePath = '/NodeJsTest/test_7/sampleCollection/localFiles/opts.txt';

//数据请求

function dataRequest(dataUrl) {

    //发送请求

    request({

        url : dataUrl,

        method : 'GET'

    },function(err, red, body) {

        //请求到body

        if(err){

            console.log(dataUrl);

            console.error('[ERROR]Collection' + err);

            return;

        }

        if(dataUrl && dataUrl === dolphin){

            dataPraseDolphin(body);

        }

    })

}

/**

 * 解析html

 */

function dataPraseDolphin(body) {

    var $ = cheerio.load(body);

    var atricles = $('#content').children('.status-publish');

    for(var i = 0;i < atricles.length;i++){

        var article = atricles[i];

        var $a = $(article).find('.post-title .entry-title a');

        var $p = $(article).find('.post-content p');

        var $aVal = $($a).text();

        var $pVal = $($p).text();

        var localData;

        if($p){

            localData = '--------------'+ (i+1) +' Chapter------------------' + '\n'

                      + '标题：' + $aVal + '\n'

                      + '简介：' + $pVal + '\n'

                      + '时间：' + new  Date + '\n'

                      + '---------------------------------------------------' + '\n';

            console.log(localData);

            writeToLocal(localData,i);

        }

    }

}

/**

 * [writeToLocal description]

 * 将解析的数据 写入本地文件进行备份

 */

function writeToLocal(dataPage,fj){

    console.log('-------------准备写入文件------------------------')

    //同步写入文件，一般使用异步好

    fs.appendFileSync(filePath, dataPage);

}

/**

 * 创建web服务器

 * @return {[type]} [description]

 */

function createServer(){

    http.createServer(function(req,resp){

        console.log('服务启动！')

        wirteToPage(resp);

    }).listen(7000);

}

/**

 * 将抓取的数据写入页面

 */

function wirteToPage(resp){

    fs.readFile(filePath,function(err,data){

        if(err){

            console.log(err);

            resp.writeHead(404,{

                'Content-Type':'text/html'

            })

        }else{

            resp.writeHead(200,{

                //响应头添加编码格式解决乱码问题

                'Content-Type': 'text/plain;charset=utf-8'

            });

            //resp.write('<head><meta charset="utf-8"/></head>');

            resp.write(data.toString());

        }

        resp.end();

    })

}

//开始发送请求 并 采集数据

dataRequest(dolphin);

createServer();

Sublime 中 ctrl+B 执行

浏览器地址栏请求：http://localhost:7000

结果：

NodeJs+http+fs+request+cheerio 采集,保存数据,并在网页上展示(构建web服务器)的更多相关文章

  1. NodeJs+Request+Cheerio 采集数据

    目的:采集网站文章. 两个依赖项: request :https://github.com/request/request cheerio:https://github.com/cheeriojs/c ...

  2. textarea 带换行符保存数据与带换行符展示数据

    毕业设计进行ing~ 最近要想要实现一个站内邮箱,想要带换行地输出邮件主体内容. 这两天为了解决这个问题百度了好多东西,发现相关问题有很多记录,可能这确实是大多数初学者也碰到的问题.自己找了好多地方都 ...

  3. FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream流

    一.Windows下面编译ffmpeg 首先需要解决的问题是:在windows下面编译 ffmpeg, 并让其支持dshow, 本人把ffmpeg编译成功了, 但是编译出来的ffmpeg不支持dsho ...

  4. 【学习记录】C#保存数据至CSV文档 & DateTime格式模式控制解释

    数据类的定义: public class Result_Display { private string id; public string ID { get { return id; } set { ...

  5. node 创建静态web服务器（下）（处理异步获取数据的两种方式）

    接上一章. 上一章我们说创建的静态web服务器只能识别html,css,js文件,功能较为单一,且图片格式为text/html,这是不合理的. 本章,我们将解决该问题. 这里,我们先准备好一个json ...

  6. Android发送数据到web服务器4种方式

    1./** 2. * Android中向web服务器提交数据的两种方式四种方法 3. */ 4.public class SubmitDataByHttpClientAndOrdinaryWay { ...

  7. STM32L15x——ADC采集DMA数据只第一次正确（已解决）

    前提:我用的芯片是STM32L系列,可能对其它STM32系列不完全适用,仅供参考! 一.问题描述 我在使用DMA方式读取单ADC单通道采集的数据时,发现只能正确的采集一次数据,后来的就一直与第一次的相 ...

  8. C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

    第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel, ...

  9. Gobblin采集kafka数据

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程,话不多说,进入正题 一.Gobblin ...

随机推荐

  1. CoreCLR源码探索(一) Object是什么

    .Net程序员们每天都在和Object在打交道 如果你问一个.Net程序员什么是Object,他可能会信誓旦旦的告诉你"Object还不简单吗,就是所有类型的基类" 这个答案是对的 ...

  2. rnandroid环境搭建

    react-native 环境搭建具体步骤这个大家已经玩烂了,这个主要是记录下来自己做win7系统遇到的坑 1.com.android.ddmlib.installexception 遇到这个问题,在 ...

  3. 移动先行之谁主沉浮？ 带着你的Net飞奔吧！

    移动系源码:https://github.com/dunitian/Windows10 移动系文档:https://github.com/dunitian/LoTDotNet/tree/master/ ...

  4. 在Ubuntu 16.10 安装 git 并上传代码至 git.oschina.net

    1. 注册一个账号和创建项目 先在git.oschina.net上注册一个账号和新建一个project ,如project name 是"myTest". 2.安装git sudo ...

  5. Ngrok让你的本地Web应用暴露在公网上

    1.Ngrok介绍 Ngrok是一个反向代理,通过在公共的端点和本地运行的Web服务器之间建立一个安全的通道.Ngrok可捕获和分析所有通道上的流量,便于后期分析和重放.简单来说,利用 Ngrok可以 ...

  6. Angular企业级开发(2)-搭建Angular开发环境

    1.集成开发环境 个人或团队开发AngularJS项目时,有很多JavaScript编辑器可以选择.使用优秀的集成开发环境(Integrated Development Environment)能节省 ...

  7. Node.js：path、url、querystring模块

    Path模块 该模块提供了对文件或目录路径处理的方法,使用require('path')引用. 1.获取文件路径最后部分basename 使用basename(path[,ext])方法来获取路径的最 ...

  8. jquery中的$(document).ready(function() {});

    当文档载入时执行function函数里的代码, 这部分代码主要声明,页面加载后 "监听事件" 的方法.例如: $(document).ready( $("a") ...

  9. 新手学习web遇到的一些乱码问题

    在新手学习web网站学习的时候经常会遇到?????这种乱码,对于刚起步的菜鸟来说真的很头痛,很容易打击继续学的信心当然了对于菜鸟的我最近也遇到过乱码问题,沉浸其中不能自拔,爱的深啊!!!!!我所遇到的 ...

  10. Android之SQLite数据存储

    一.SQLite保存数据介绍 将数据库保存在数据库对于重复或者结构化数据(比如契约信息)而言是理想之选.SQL数据库的主要原则之一是架构:数据库如何组织正式声明.架构体现于用于创建数据库的SQL语句. ...