Node.js 中流操作实践

chaos_G 发布于2019-08-23 11:52 / 3013人阅读

摘要：事件的触发频次同样是由实现者决定，譬如在进行文件读取时，可能每行都会触发一次而在请求处理时，可能数的数据才会触发一次。如果有参数传入，它会让可读流停止流向某个特定的目的地，否则，它会移除所有目的地。

本文节选自 Node.js CheatSheet | Node.js 语法基础、框架使用与实践技巧，也可以阅读 JavaScript CheatSheet 或者 现代 Web 开发基础与工程实践 了解更多 JavaScript/Node.js 的实际应用。

Stream 是 Node.js 中的基础概念，类似于 EventEmitter，专注于 IO 管道中事件驱动的数据处理方式；类比于数组或者映射，Stream 也是数据的集合，只不过其代表了不一定正在内存中的数据。。Node.js 的 Stream 分为以下类型：

Readable Stream: 可读流，数据的产生者，譬如 process.stdin

Writable Stream: 可写流，数据的消费者，譬如 process.stdout 或者 process.stderr

Duplex Stream: 双向流，即可读也可写

Transform Stream: 转化流，数据的转化者

Stream 本身提供了一套接口规范，很多 Node.js 中的内建模块都遵循了该规范，譬如著名的 fs 模块，即是使用 Stream 接口来进行文件读写；同样的，每个 HTTP 请求是可读流，而 HTTP 响应则是可写流。

Readable Stream

const stream = require("stream");
const fs = require("fs");

const readableStream = fs.createReadStream(process.argv[2], {
  encoding: "utf8"
});

// 手动设置流数据编码
// readableStream.setEncoding("utf8");

let wordCount = 0;

readableStream.on("data", function(data) {
  wordCount += data.split(/s{1,}/).length;
});

readableStream.on("end", function() {
  // Don"t count the end of the file.
  console.log("%d %s", --wordCount, process.argv[2]);
});

当我们创建某个可读流时，其还并未开始进行数据流动；添加了 data 的事件监听器，它才会变成流动态的。在这之后，它就会读取一小块数据，然后传到我们的回调函数里面。 data 事件的触发频次同样是由实现者决定，譬如在进行文件读取时，可能每行都会触发一次；而在 HTTP 请求处理时，可能数 KB 的数据才会触发一次。可以参考 nodejs/readable-stream/_stream_readable 中的相关实现，发现 on 函数会触发 resume 方法，该方法又会调用 flow 函数进行流读取：

// function on
if (ev === "data") {
  // Start flowing on next tick if stream isn"t explicitly paused
  if (this._readableState.flowing !== false) this.resume();
}
...
// function flow
while (state.flowing && stream.read() !== null) {}

我们还可以监听 readable 事件，然后手动地进行数据读取：

let data = "";
let chunk;
readableStream.on("readable", function() {
  while ((chunk = readableStream.read()) != null) {
    data += chunk;
  }
});
readableStream.on("end", function() {
  console.log(data);
});

Readable Stream 还包括如下常用的方法：

Readable.pause(): 这个方法会暂停流的流动。换句话说就是它不会再触发 data 事件。

Readable.resume(): 这个方法和上面的相反，会让暂停流恢复流动。

Readable.unpipe(): 这个方法会把目的地移除。如果有参数传入，它会让可读流停止流向某个特定的目的地，否则，它会移除所有目的地。

在日常开发中，我们可以用 stream-wormhole 来模拟消耗可读流：

sendToWormhole(readStream, true);

Writable Stream

readableStream.on("data", function(chunk) {
  writableStream.write(chunk);
});

writableStream.end();

当 end() 被调用时，所有数据会被写入，然后流会触发一个 finish 事件。注意在调用 end() 之后，你就不能再往可写流中写入数据了。

const { Writable } = require("stream");

const outStream = new Writable({
  write(chunk, encoding, callback) {
    console.log(chunk.toString());
    callback();
  }
});

process.stdin.pipe(outStream);

Writable Stream 中同样包含一些与 Readable Stream 相关的重要事件：

error: 在写入或链接发生错误时触发

pipe: 当可读流链接到可写流时，这个事件会触发

unpipe: 在可读流调用 unpipe 时会触发

Pipe | 管道

const fs = require("fs");

const inputFile = fs.createReadStream("REALLY_BIG_FILE.x");
const outputFile = fs.createWriteStream("REALLY_BIG_FILE_DEST.x");

// 当建立管道时，才发生了流的流动
inputFile.pipe(outputFile);

多个管道顺序调用，即是构建了链接(Chaining):

const fs = require("fs");
const zlib = require("zlib");
fs.createReadStream("input.txt.gz")
  .pipe(zlib.createGunzip())
  .pipe(fs.createWriteStream("output.txt"));

管道也常用于 Web 服务器中的文件处理，以 Egg.js 中的应用为例，我们可以从 Context 中获取到文件流并将其传入到可写文件流中：

GPU云服务器云服务器 ecs自定义镜像操作实践 node js Node.js node.js 腾讯

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/97600.html

Node.js中流的使用

摘要：流是基于事件的用于管理和处理数据而且有不错的效率借助事件和非阻塞库流模块允许在其可用的时候动态处理在其不需要的时候释放掉使用流的好处举一个读取文件的例子使用同步读取一个文件程序会被阻塞所有的数据都会被读取到内存中换用读取文件程序不会被阻塞但流是基于事件的API,用于管理和处理数据,而且有不错的效率.借助事件和非阻塞I/O库,流模块允许在其可用的时候动态处理,在其不需要的时候释放掉. ...

h9911 2019-08-20 18:01 评论0 收藏0
前端每周清单半年盘点之 Node.js 篇

摘要：前端每周清单专注前端领域内容，以对外文资料的搜集为主，帮助开发者了解一周前端热点分为新闻热点开发教程工程实践深度阅读开源项目巅峰人生等栏目。对该漏洞的综合评级为高危。目前，相关利用方式已经在互联网上公开，近期出现攻击尝试爆发的可能。前端每周清单专注前端领域内容，以对外文资料的搜集为主，帮助开发者了解一周前端热点；分为新闻热点、开发教程、工程实践、深度阅读、开源项目、巅峰人生等栏目。欢...

kid143 2019-08-21 11:59 评论0 收藏0
【全文】狼叔：如何正确的学习Node.js

摘要：感谢大神的免费的计算机编程类中文书籍收录并推荐地址，以后在仓库里更新地址，声音版全文狼叔如何正确的学习简介现在，越来越多的科技公司和开发者开始使用开发各种应用。说明 2017-12-14 我发了一篇文章《没用过Node.js，就别瞎逼逼》是因为有人在知乎上黑Node.js。那篇文章的反响还是相当不错的，甚至连著名的hax贺老都很认同，下班时读那篇文章，竟然坐车的还坐过站了。大家可以很...

Edison 2019-08-30 14:14 评论0 收藏0
【全文】狼叔：如何正确的学习Node.js

摘要：感谢大神的免费的计算机编程类中文书籍收录并推荐地址，以后在仓库里更新地址，声音版全文狼叔如何正确的学习简介现在，越来越多的科技公司和开发者开始使用开发各种应用。说明 2017-12-14 我发了一篇文章《没用过Node.js，就别瞎逼逼》是因为有人在知乎上黑Node.js。那篇文章的反响还是相当不错的，甚至连著名的hax贺老都很认同，下班时读那篇文章，竟然坐车的还坐过站了。大家可以很...

fengxiuping 2019-08-22 15:39 评论0 收藏0