摘要:在网站中有时候需要跨域请求数据,直接用Ajax无法实现跨域,采用其他方式需要根据不同的浏览器做相应的处理.用Nodejs可以很好的解决这些问题,后台引用HTTPS模块,发送和返回的数据均为JSON对象,很方便对数据处理. 在Web项目中,有时需要通过协议调取来自其他环境的数据.HTTPS是一种应用于安全数据传输的网络协议.我们都知道Ajax可以异步请求数据,但单单通过ajax无法实现跨域.采用一些其他方式需要根据不同的浏览器做相应处理,火狐,谷歌等和IE需要各自做相应判断,所以这种通过浏览

学习笔记 前言 近期做一个数据抓爬工具,最开始使用的是C#控制台应用,同时正则表达式去过滤数据,看着还行,可每次运行都依附于.net framework很是不爽,于是想整点其他的方法.本人还是比较喜欢javascript的,思来想去决定用服务器端的javascript来试试! 环境.工具准备 1.[必装] 安装nodejs,下载最新nodejs,点击此处 2.[选装] 安装iisnode,以及rewrite,因为我是以IIS作为Server,所以用到了这2个IIS的拓展插件,假如仅仅只是cmd控

Nodejs构建mock数据并通过rest api风格调用接口访问数据 如果我们只有json格式的数据文件,我们想通过访问url方式调用居然数据 确保电脑安装node环境 如果你没有安装好node环境请移步http://nodejs.cn/ 一.安装json-server 1.新建demo文件 cd demo 2.安装json-server npm install -S json-server 3.项目demo目录下,新建一个 JSON 文件data.json和一个package.json文件

最近看了NodeJS相关的,在网上查了下结合AJAX的应用,感觉应用前景还是不错的.为什么用这个组合呢? 1.NodeJS不需要安装,拷贝过去就可以使用,而环境变量可以只配置在当前cmd窗口,运行方便. 2.通过HTML的ajax请求,可以实现在不同的服务器上,可跨域获取数据. 3.通信数据格式灵活,可以是xml.json.binary等,数据适合任何平台. 在说说我的环境,我使用的是公司提供的电脑,有很多限制,比如是域中电脑,操作权限低,无法安装任何软件,无法修改计算机配置,无法使用U盘等等.

在做后台管理界面的时候,几乎少不了的一个结构就是树形结构,用来做菜单导航: 那么,最希望的就是树结构的所有数据都是读取的数据库,而不是直接代码当中写死,那我们就一步一步来看: 一,建表 字段通常包括:id,text,url,pid id text url pid 1 a   0 2 b test.html 1 二,使用nodeJS连接数据库 const mysql = require('mysql'); //注入MySQL模块 const connection = mysql.createCon

var http=require('http'); var cheerio=require('cheerio');//页面获取到的数据模块 var url='http://www.jcpeixun.com/lesson/1512/'; function filterData(html){ /*所要获取到的目标数组 var courseData=[{ chapterTitle:"", videosData:{ videoTitle:title, videoId:id, videoPric

这里做得比较暴力,没有分页取出数据解析,O(∩_∩)O哈哈~,居然没有被挂机.不过解析的坑特别多...不过大部分我想要的数据都拿到了. //解析列表数据 var http = require("http"), cheerio = require("cheerio"), mongoose = require('mongoose'), db = mongoose.createConnection('mongodb://127.0.0.1:27017/crawl58');

纯属初学...有很多需要改进的地方,请多多指点... 目标是抓取58同城 这个大分类下的列表数据: http://cd.58.com/caishui/?PGTID=14397169455980.9244072034489363&ClickID=1 简单分析: 1. 按照以下二级分类来获取每个列表的数据, 2. 主要分页: 可以看出,其分页是pn5 这里设置的,那么这个5就是页码了. http://cd.58.com/dailijizh/pn5/?PGTID=1177429071887065549

1)在项目根目录(如demo)中创建一个文件夹,如base,将项目中所有的前端文件全部放到base文件夹中,此时项目demo下只有一个文件夹base 2)通过cmd进入命令窗口,直接执行npm install express-generator -g (全局安装express) 3)通过cd命令进入项目demo目录,在demo目录下 执行express mock -e  (mock为创建的文件夹名,用来存放node模拟数据): 4)让前端文件base中的端口号与mock中的端口号一致,一般默认为

const Koa = require('koa'); const Router = require('koa-router'); const app = new Koa(); const router = new Router(); const views = require('koa-views'); const json = require('koa-json'); const onerror = require('koa-onerror'); const bodyparser = req

// 引入https模块,由于我们爬取的网站采用的是https协议 const https = require('https'); // 引入cheerio模块,使用这个模块可以将爬取的网页源代码进行装载,然后使用类似jquery的语法去操作这些元素 // 在cheerio不是内置模块,需要使用包管理器下载安装 const cheerio = require('cheerio'); // 这里以爬取拉钩网为例 var url = "https://www.lagou.com/"; //

1.(fs.createReadStream)当文件比较大时,建议使用文件流读取,不会出现卡顿现象,demo如下. const fs = require('fs'); //流的方式读取文件 var readStream = fs.createReadStream("fs/input.txt"); var str = ""; ; //读取次数 //流每次读取一块,都会广播一次data事件,通过on来接受广播事件 readStream.on('data',functio

回调函数嵌套解决方案——eventProxy API地址:https://github.com/JacksonTian/eventproxy 1.安装eventproxy 执行npm install eventProxy. 2.使用前进行声明,代码如下: var EP = require('eventproxy'); 3.根据API进行相应的方法调用,代码如下: ajax.post('/user/login', { name: '********', pwd: '******', remembe

                    在写入流的文档后添加   ,{ 'flags': 'a' }   即可  :   var fs = require('fs') var readerStream = fs.createReadStream('t.txt') // 1,覆盖原来内容 // var writerStream = fs.createWriteStream('pipe.txt') // 2.原内容后追加 var writeStream = fs.createWriteStream(

此前在做项目的时候,一直用json文件用作模拟数据,后来发现了mock.js,于是就用了mock.js,再后来感觉这些数据再怎么模拟都是静态数据.所以就想用nodejs实现一个数据转发功能,在本地拉取服务端的数据.那时就简易做出了一个针对那个项目的数据拉取功能.而在最近,在看一些博客的时候,想把几个博客的页面内容全部拉取到一个页面来看.所以就把此前数据拉取功能稍作改造封装了一下. 做出的一个简易数据拉取demo:点我看效果 然后大概简述一下demo的实现.当作学习记录. 首先是数据转发模块,我将

[TOC] 1, 环境 CentOS, MySQL, Redis, Nodejs 2, Redis简介 Redis是一个开源的K-V内存数据库,它的key可以是string/set/hash/list/...,因为是基于内存的,所在访问速度相当快. 3, Gearman简介 Gearman是一个开源的Map/Reduce分布式计算框架,具有丰富的client sdk,而且它支持MySQL UDF. Gearman工作图 Gearman调用流程 Gearman集群 从图中可以看出貌似Gearman

新手练习,尝试使用angularjs2 [angularjs2 数据绑定,监听数据变化自动修改相应dom值,非常方便好用,但与传统js(jquery)的使用方法会很不同,Dom操作也不太习惯] 应用效果图: 转载请标明出处:cnblogs.com/wangxinsheng@望星辰 ----- 具体步骤如下: 1.通过应用生成器工具 express 可以快速创建一个应用的骨架 全局安装 应用生成器工具:$ npm install express-generator -g 在当前工作目录下创建一个命

官方api文档 http://nodejs.org/docs/v0.6.1/api/http.html#http.request虽然也有POST例子,但是并不完整. 直接上代码:http_post.js 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 var http=require('http'); var qs=require('querystring')

给大家翻译一下npm上body-parser的资料 nodejs 的body数据解析中间件 插件作用:对于req.body属性,在操作数据前分析进来的请求体的插件 首先学习解析一个http处理 这篇文章的目的是为了传授对nodejs http处理过程的理解.我们假设你对http请求怎么工作有一般的理解,不管语言和编程环境.如果你对nodejs的事件对象和流都不太熟悉,那么有必要快速阅读每个API文档. 创建服务器 任何node web应用在某些时候都必须穿件一个web服务对象,这是通过使用cre

一.前言 因公司需要选用elasticsearch做全文检索,持久化存储选用的是mongodb,但是希望mongodb里面的数据发生改变可以实时同步到elasticsearch上,一开始主要使用elasticsearch v1.7.2的版本,mongo-river可以搞定这个问题.随着elasticsearch的升级,发现elasticsearch已经放弃了mongo-river,咋整......Google之后发现一神器mongo-connector,国外大神用python写的工具而且Mong

接着上一篇的php+mysql,我们来试一试nodejs怎么实现数据的增删查改. Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境.Node.js 使用了一个事件驱动.非阻塞式 I/O 的模型,使其轻量又高效.Node.js 的包管理器 npm,是全球最大的开源库生态系统.我们需要的很多工具都可以直接用npm下载安装,比如前端工业化框架gulp,grunt,fis等,还有css的预处理语言less,都可以在cmd使用npm安装使用.这个以后专开一篇博客介绍.