目的：

　　数据采集

　　写入本地文件备份

　　构建web服务器

　　将文件读取到网页中进行展示

目录结构：

package.json文件中的内容与上一篇一样:NodeJs+Request+Cheerio 采集数据

request :https://github.com/request/request 使得请求变得更容易，简单

cheerio:https://github.com/cheeriojs/cheerio 用来解析dom结构，类似jQuery，挺好用

app.js文件：

/**

 * 数据采集

 * 写入本地文件备份

 * 创建web服务器

 * 将文件读取到网页中进行展示

 */

//引入需要的包

var http = require('http');

//var path = require('path');

var request = require('request');

var cheerio = require('cheerio');

var fs = require('fs');

//定义常量

var dolphin = 'http://cn.dolphin.com/blog';

const filePath = '/NodeJsTest/test_7/sampleCollection/localFiles/opts.txt';

//数据请求

function dataRequest(dataUrl) {

    //发送请求

    request({

        url : dataUrl,

        method : 'GET'

    },function(err, red, body) {

        //请求到body

        if(err){

            console.log(dataUrl);

            console.error('[ERROR]Collection' + err);

            return;

        }

        if(dataUrl && dataUrl === dolphin){

            dataPraseDolphin(body);

        }

    })

}

/**

 * 解析html

 */

function dataPraseDolphin(body) {

    var $ = cheerio.load(body);

    var atricles = $('#content').children('.status-publish');

    for(var i = 0;i < atricles.length;i++){

        var article = atricles[i];

        var $a = $(article).find('.post-title .entry-title a');

        var $p = $(article).find('.post-content p');

        var $aVal = $($a).text();

        var $pVal = $($p).text();

        var localData;

        if($p){

            localData = '--------------'+ (i+1) +' Chapter------------------' + '\n'

                      + '标题：' + $aVal + '\n'

                      + '简介：' + $pVal + '\n'

                      + '时间：' + new  Date + '\n'

                      + '---------------------------------------------------' + '\n';

            console.log(localData);

            writeToLocal(localData,i);

        }

    }

}

/**

 * [writeToLocal description]

 * 将解析的数据 写入本地文件进行备份

 */

function writeToLocal(dataPage,fj){

    console.log('-------------准备写入文件------------------------')

    //同步写入文件，一般使用异步好

    fs.appendFileSync(filePath, dataPage);

}

/**

 * 创建web服务器

 * @return {[type]} [description]

 */

function createServer(){

    http.createServer(function(req,resp){

        console.log('服务启动！')

        wirteToPage(resp);

    }).listen(7000);

}

/**

 * 将抓取的数据写入页面

 */

function wirteToPage(resp){

    fs.readFile(filePath,function(err,data){

        if(err){

            console.log(err);

            resp.writeHead(404,{

                'Content-Type':'text/html'

            })

        }else{

            resp.writeHead(200,{

                //响应头添加编码格式解决乱码问题

                'Content-Type': 'text/plain;charset=utf-8'

            });

            //resp.write('<head><meta charset="utf-8"/></head>');

            resp.write(data.toString());

        }

        resp.end();

    })

}

//开始发送请求 并 采集数据

dataRequest(dolphin);

createServer();

Sublime 中 ctrl+B 执行

浏览器地址栏请求：http://localhost:7000

结果：

NodeJs+http+fs+request+cheerio 采集,保存数据,并在网页上展示(构建web服务器)的更多相关文章

  1. NodeJs+Request+Cheerio 采集数据

    目的:采集网站文章. 两个依赖项: request :https://github.com/request/request cheerio:https://github.com/cheeriojs/c ...

  2. textarea 带换行符保存数据与带换行符展示数据

    毕业设计进行ing~ 最近要想要实现一个站内邮箱,想要带换行地输出邮件主体内容. 这两天为了解决这个问题百度了好多东西,发现相关问题有很多记录,可能这确实是大多数初学者也碰到的问题.自己找了好多地方都 ...

  3. FFMPEG采集摄像头数据并切片为iPhone的HTTP Stream流

    一.Windows下面编译ffmpeg 首先需要解决的问题是:在windows下面编译 ffmpeg, 并让其支持dshow, 本人把ffmpeg编译成功了, 但是编译出来的ffmpeg不支持dsho ...

  4. 【学习记录】C#保存数据至CSV文档 & DateTime格式模式控制解释

    数据类的定义: public class Result_Display { private string id; public string ID { get { return id; } set { ...

  5. node 创建静态web服务器（下）（处理异步获取数据的两种方式）

    接上一章. 上一章我们说创建的静态web服务器只能识别html,css,js文件,功能较为单一,且图片格式为text/html,这是不合理的. 本章,我们将解决该问题. 这里,我们先准备好一个json ...

  6. Android发送数据到web服务器4种方式

    1./** 2. * Android中向web服务器提交数据的两种方式四种方法 3. */ 4.public class SubmitDataByHttpClientAndOrdinaryWay { ...

  7. STM32L15x——ADC采集DMA数据只第一次正确（已解决）

    前提:我用的芯片是STM32L系列,可能对其它STM32系列不完全适用,仅供参考! 一.问题描述 我在使用DMA方式读取单ADC单通道采集的数据时,发现只能正确的采集一次数据,后来的就一直与第一次的相 ...

  8. C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

    第一次接触HtmlAgilityPack是在5年前,一些意外,让我从技术部门临时调到销售部门,负责建立一些流程和寻找潜在客户,最后在阿里巴巴找到了很多客户信息,非常全面,刚开始是手动复制到Excel, ...

  9. Gobblin采集kafka数据

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程,话不多说,进入正题 一.Gobblin ...

随机推荐

  1. 【疯狂造轮子-iOS】JSON转Model系列之二

    [疯狂造轮子-iOS]JSON转Model系列之二 本文转载请注明出处 —— polobymulberry-博客园 1. 前言 上一篇<[疯狂造轮子-iOS]JSON转Model系列之一> ...

  2. svn 常用命令总结

    svn 命令篇 svn pget svn:ignore // 查看忽略项 svn commit -m "提交说明" // 提交修改 svn up(update) // 获取最新版本 ...

  3. CentOS 7配置LNMP开发环境及配置文件管理

    安装并配置MySQL 5.6 从CentOS从7.x开始默认使用MariaDB.MariaDB完全兼容MySQL,包括API和命令行.但是很多时候我们还是会想要安装MySQL,所以不能直接通过yum命 ...

  4. 当web.config文件放置在共享目录下（UNC），启动IIS会提示有错误信息500.19，伴随有错误代码0x80070003和错误代码0x80070005的解决办法

    最近遇到一个很有意思的使用环境,操作人员将所有的网站应用内容投放到共享存储里面,并且使用微软的SMB协议将其以CIFS的方式共享出来,使用Windows Server 2008 R2的IIS将其连接起 ...

  5. 深入理解javascript的getTime方法

    1.理解getTime getTime() 方法返回一个时间的格林威治时间数值. 可以使用这个方法把一个日期时间赋值给另一个Date 对象. 语法: dateObj.getTime() 参数: 无. ...

  6. gRPC源码分析1-SSL/TLS

    引子 前几天看到微信后台团队分享了TLS相关文章,正好gRPC里TLS数据加密是很重要的一块,于是整理出了这篇文章. 在gRPC里,如果仅仅是用来做后端微服务,可以考虑不加密.本文太长,先给个大纲. ...

  7. keepalived从机接管后主机恢复不抢占VIP

    在lvs+keepalived环境中,为了减小keepalived主从切换带来的意外风险,,设置主机恢复后不抢占VIP.待进行vrrp协议通告备机不可用时切换.主要修改两个地方.(红色部分) 只需修改 ...

  8. Hilbert-Huang Transform（希尔伯特-黄变换）

    在我们正式开始讲解Hilbert-Huang Transform之前,不妨先来了解一下这一伟大算法的两位发明人和这一算法的应用领域 Section I 人物简介 希尔伯特:公认的数学界“无冕之王”,1 ...

  9. 【腾讯Bugly干货分享】动态链接库加载原理及HotFix方案介绍

    本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57bec216d81f2415515d3e9c 作者:陈昱全 引言 随着项目中动 ...

  10. 新应用上线 Snippet

    Snippet 是一款代码片段收集工具,经过一天三夜的开发终于上线了. 应用地址:snippets.barretlee.com 源码地址:barretlee/snippets 由于使用原生 JS 开发 ...