浅谈stream数据流
汴水流,泗水流,流到瓜州古渡头, 吴山点点愁。 我们知道水是源源不断的, 抽刀断水水更流, 斩不断, 理还乱, 是水流。(技术贴, 本文权当读者没学过古诗).
在一些语言里, 我们的前辈把数据当成水流, 于是有了数据流的说法~ 很贴切, 也很好理解。 今天呢, 我们就一起来看看node.js里面的stream数据流。
stream是一个抽象的接口, node里有很多对象实现了这个接口, 如: 对http服务器发起请求的request对象就是一个Stream, 还有stdout(标准输出);
node.js Stream有四种流类型:
1) Readable 可读操作
2) Writable 可写操作
3) Duplex 可读可写操作
4) Transform 操作被写入数据, 然后读出结果(大致是说, 你把数据载入我的方法里, 我帮你处理后再返回给你)
而且所有的stream 都是Events 对象的实例, 也就是说可以直接添加各种监听事件哈~ 常用的stream流的事件有:
1) data 当有数据可读时候触发
2) end 没有更多数据可读时触发
3) erroe 在接收和写入过程中发生错误时触发
4) finish 所有数据已被写入时触发 (写入操作时候用)
好了, 那我们简单说下怎么从流重读取数据, 创建love.txt, 内容如下: 这不是一封情书: i love ~ ♥
创建readStream.js 文件
var fs = require("fs");
var data = ''; // 定义data 接收数据 // 创建可读流
var readerStream = fs.createReadStream('love.txt'); // 设置编码为 utf8。
readerStream.setEncoding('UTF8'); // 其实默认就是utf8 去掉也无妨, 这里只是为了小伙伴们知道怎么去指定编码 // 处理流事件 --> data, end, and error
readerStream.on('data', function(chunk) { // chunk 是一种数据传输机制, 把数据流分成小块输出过来
data += chunk;
});
readerStream.on('end',function(){ // 必须数据传输完成后 才能打印出data
console.log(data);
}); readerStream.on('error', function(err){
console.log(err.stack);
}); console.log("程序执行完毕");
运行结果如下
程序执行完毕
这不是一封情书: i love ~ ♥
成功读取到文件内容, 那么怎么去写入内容呢
var fs = require("fs");
var data = '杨帅要写入的内容'; // 创建一个可以写入的流,写入到文件 output.txt 中
var writerStream = fs.createWriteStream('output.txt'); // 使用 utf8 编码写入数据
writerStream.write(data,'UTF8'); // 写完后停止写入
writerStream.end(); // 处理流事件 --> data, end, and error
writerStream.on('finish', function() {
console.log("写入完成");
}); writerStream.on('error', function(err){
console.log(err.stack); // 打印错误信息
}); console.log("程序执行完毕");
跑一下
然后查看目录里, 多了一个output.txt的文件, 文件内容为:
杨帅要写入的内容
符合预期, 可是代码不够优雅, 也不够精简, 那么有更简单的方法么, 有!
node里面提供了一个输出流到输入流的机制(pipe) , 俗称管道流。 有了这个小玩意儿, 可以事半功倍哦(而且还有一些防止读入过快, 写入过慢, 也就是俗称爆仓的功效)。麻雀虽小五脏俱全!
ok, 有了它 , 画风是这样的
// 十分好用的管道流
var fs = require('fs');
var readFile = fs.createReadStream('love.txt'); var writeFile = fs.createWriteStream('copy-input.txt'); // 创建可写流 并写入copy-input.txt readFile.pipe(writeFile); console.log('数据传输完成');
看起来很甜美的代码, 运行测试一下
果然出现了一个copy-input.txt的文件M 内容为
这不是一封情书: i love ~ ♥
链式流
我们知道, 管道不一定是直达的, 那么我们怎么达到我们的目标点呢。 当然是接水管呀~
在node里, 我们可以通过链式的方法来对数据进行一些中间层的操作。
此时我们实现一个文件的压缩和解压的demo 来体验一下, 代码里会有详细的注释。
var fs = require('fs');
var zlib = require('zlib'); //压缩和解压文件模块 // 比如我们要把love.txt 压缩成 yangshuai.zzzz
// 先读取love.txt
fs.createReadStream('love.txt')
.pipe(zlib.createGzip()) // zlib.createGzip()是压缩文件的方法 这是一个transform流, 我们前面说过transform可以操作被写入数据, 然后读出结果
.pipe(fs.createWriteStream('yangshuai.zzzz')); console.log('看起来很严谨, 很nice');
运行一下
然后看目录
果不其然, 这个压缩文件已经创建成功~ 可是打开都是二进制编码 宝宝看不懂怎么办~
没关系, 我们来解压一下
var fs = require('fs');
var zlib = require('zlib'); //压缩和解压文件模块 // 比如我们要把 yangshuai.zzzz 解压成 yangshuai.txt(为了区分, 不用love.txt)
// 先读取yangshuai.zzzoz
fs.createReadStream('yangshuai.zzzz')
.pipe(zlib.createGunzip()) // zlib.createGzip()是压缩文件的方法 这是一个transform流
.pipe(fs.createWriteStream('yangshuai.txt')); console.log('这段解压代码看起来也很严谨, 也很nice');
是不是操作起来很方便呢~
ok, stream 数据流我们就说到这里。小伙伴们有没有明了呢~
欢迎指正~ 期待一起进步 2017, 加油
愿得一人心 白首不相离
浅谈stream数据流的更多相关文章
- 浅谈React数据流管理
引言:为什么数据流管理如此重要?react的核心思想就是:UI=render(data),data就是我们说的数据流,render是react提供的纯函数,所以用户界面的展示完全取决于数据层.这篇文章 ...
- 浅谈iOS视频开发
浅谈iOS视频开发 这段时间对视频开发进行了一些了解,在这里和大家分享一下我自己觉得学习步骤和资料,希望对那些对视频感兴趣的朋友有些帮助. 一.iOS系统自带播放器 要了解iOS视频开发,首先我们从 ...
- 浅谈 Requests包
浅谈 Requests包 一:Requests包是做什么的? 简单地说,是用python处理HTTP的一个包. 它的标志也非常有气质,是一个双蛇杖,按照官方的说法,一条蛇代表client,一条代表se ...
- 浅谈angular2+ionic2
浅谈angular2+ionic2 前言: 不要用angular的语法去写angular2,有人说二者就像Java和JavaScript的区别. 1. 项目所用:angular2+ionic2 ...
- .NET(C#):浅谈程序集清单资源和RESX资源
原文:.NET(C#):浅谈程序集清单资源和RESX资源 目录 程序集清单资源 RESX资源文件 使用ResourceReader和ResourceSet解析二进制资源文件 使用ResourceM ...
- 浅谈Vue不同场景下组件间的数据交流
浅谈Vue不同场景下组件间的数据“交流” Vue的官方文档可以说是很详细了.在我看来,它和react等其他框架文档一样,讲述的方式的更多的是“方法论”,而不是“场景论”,这也就导致了:我们在阅读完 ...
- 【ASP.NET MVC系列】浅谈ASP.NET MVC八大类扩展(上篇)
lASP.NET MVC系列文章 [01]浅谈Google Chrome浏览器(理论篇) [02]浅谈Google Chrome浏览器(操作篇)(上) [03]浅谈Google Chrome浏览器(操 ...
- 浅谈一下mshta在CVE-2017-11882里的命令构造
Evi1cg同学前不久放出CVE-2017-11882的一个 python利用脚本,地址在https://github.com/Ridter/CVE-2017-11882/,不过其中一个版本里边有一个 ...
- 浅谈 DDoS 攻击与防御
浅谈 DDoS 攻击与防御 原创: iMike 运维之美 什么是 DDoS DDoS 是英文 Distributed Denial of Service 的缩写,中文译作分布式拒绝服务.那什么又是拒 ...
随机推荐
- c#之向ftp服务器传文件
.Net提供了FtpWebRequest类,代码如下: using System; using System.Collections.Generic; using System.IO; using S ...
- MySQL 索引的使用
一.or 的使用 (1)MySQL版本大于 5.x 的会使用 index merge 功能,即可以将多个单列索引集合起来使用,不过在查询时使用 or 的话,引擎为 myisam 的会开启 index ...
- MAC OS X 10.10 应用程序下载失败后lunchpad产生灰色图标的解决办法
方法如下:打开应用程序- 实用工具 - 终端. 以此出入如下字符 defaults write com.apple.dock ResetLaunchPad -bool true killall Doc ...
- 《算法导论》习题2.3-7 查找集合S中是否有两个元素和为X---Java实现
代码如下: public class MergeSort { public static void sort(int [] A,int p, int r) { if(p<r) { int q = ...
- CSS排序工具csscomb
一. css写久了以后感觉需要按照某种规则或者说顺序来,便于开发和维护.O(∩_∩)O哈哈~ 找到一个 http://csscomb.com/ CSS排序总结: 1. 对css样式排序; 2. 按样式 ...
- EF的 JOIN操作
ef join 用法 var customers = DB.Customer.Join(DB.Commission, cst => cst.CommissionId, ...
- UVa 11110 - Equidivisions
题目大意:给一个n*n的矩阵,其中放置n个数字,判断四连通的相同数字的个数是否等于n. Flood fill,本来没什么,用dfs判断一下就可以了,可是用scanf读取输入时TLE了,然后看到别人说要 ...
- Mysql和Oracle的一些语法区别
作为一个有追求的程序猿,当然要不断的学习,巴拉巴拉巴拉...好了,贴一个网址给大家,哈哈 MySQL与Oracle 差异比较:http://www.cnblogs.com/HondaHsu/p/364 ...
- SpringMVC常用注解@Controller,@Service,@repository,@Component
SpringMVC常用注解@Controller,@Service,@repository,@Component controller层使用@controller注解 @Controller 用于标记 ...
- linux设置好IP后,可以访问内网,不能访问外网
1,设置网卡,ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #描述网卡对应的设备别名,例如ifcfg-eth0的文件中它为et ...