Node.js中实现文件的循环写入

开发 前端
node.js对所有外部资源调用提供异步机制,文件IO也不例外。在这种异步机制下,进程不会被阻塞,这极大提高了CPU的利用率,为单进程的模式奠定了基础。

node.js对所有外部资源调用提供异步机制,文件IO也不例外。在这种异步机制下,进程不会被阻塞,这极大提高了CPU的利用率,为单进程的模式奠定了基础。但同时,异步机制的引入也给程序逻辑的实现带来了一定复杂性,原来一些惯常的思维方式需要进行转换。

本文将以一个文件操作的实例来说明这一点。

假设我们需要新建一个文件,在其中循环写入0-9的数字,文件的总长度为1G bytes。在通常情况下,我们需要建立一个buffer,将内容放入其中,然后打开文件,在一个循环中多次向文件中写入,直至写满1G的长度。在node.js中我们同样可以使用同步文件写操作(例如 fs.writeSync)来实现这个逻辑,但这样做显然无法利用node.js提供的异步机制的优势。写操作会在fs.writeSync调用时阻塞,如果同时有其他运算任务需要处理,则会在进程中排队,造成 CPU资源浪费。

如果我们使用基于事件回调的异步文件写操作(例如 fs.write),如何来模拟同步模式下的循环逻辑呢?自然可以想到的一点是定义一个函数用来处理单次写入操作,然后依靠事件回调反复调用此函数,直至写满计划中的长度。但问题在于回调函数的参数形式是固定的,无法加入fd (file descriptor)和循环变量来标注当前运行的进度状况。解决这个问题,我们可以应用js语言中的“闭包”机制,因为闭包函数可以在栈中保存定义此函数的现场。

具体代码如下:

  1. var file_size = 1024*1024*1024;         //1G  
  2. var buf_size = 10240;  
  3.  
  4. var fs = require('fs');  
  5. var buf = new Buffer(buf_size);  
  6.  
  7. // init temp buffer  
  8. var temp = new Buffer(10);  
  9. for (var i=0; i<10; i++) {  
  10.     temp[i] = (i).toString().charCodeAt(0);  
  11. }  
  12.  
  13. // init buf  
  14. for (var i=0; i<buf_size/10-1; i++) {  
  15.     temp.copy(buf, 10*i);  
  16. }  
  17. temp.copy(buf, 10*i, 0, buf_size-parseInt(buf_size/10)*10);  
  18.  
  19. // write to file  
  20. fs.open('big.block''w', 0666, function(err, fd){  
  21.     if (err) throw err;  
  22.  
  23.     function write(err, written) {  
  24.         if (err) throw err;  
  25.         if (i>=file_size/buf_size) {    //close the file  
  26.             fs.close(fd);  
  27.         } else {            //continue to write  
  28.             var length = buf_size;  
  29.             if ((i+1)*buf_size>file_size) {  
  30.                 length = file_size-i*buf_size;  
  31.             }  
  32.             fs.write(fd, buf, 0, length, null, write);  
  33.             i++;  
  34.         }  
  35.     }  
  36.  
  37.     var i=0;  
  38.     write(null, 0);  
  39. }); 

需要注意缓冲区大小对写操作的性能影响很大。过小的缓冲区会造成从磁盘到文件系统,甚至用户程序,整个过程更大的资源消耗,从而影响程序的执行效率。通过time数据可明显观察到其差别:

1K缓冲:

real 0m39.340s

user 0m18.244s

sys 0m34.750s

10K缓冲:

real 0m7.985s

user 0m2.037s

sys 0m7.525s

100K缓冲:

real 0m4.223s

user 0m0.312s

sys 0m4.077s

原文:http://cnodejs.org/blog/?p=168#comment-820

【编辑推荐】

  1. Node.js源码研究之模块组织加载
  2. 浅析Node.js中的流程控制
  3. 揭秘Node.js事件
  4. Node.js初探之hello world
  5. 什么是Node.js?
责任编辑:陈贻新 来源: cnodejs.org
相关推荐

2024-01-05 08:49:15

Node.js异步编程

2012-02-03 09:25:39

Node.js

2021-05-27 09:00:00

Node.js开发线程

2023-01-31 16:43:31

​Node.js事件循环

2021-01-04 08:09:58

Node.js磁盘接口

2021-10-22 08:29:14

JavaScript事件循环

2014-09-12 10:35:09

Node.jsHTTP 206

2021-12-18 07:42:15

Ebpf 监控 Node.js

2021-05-21 09:36:42

开发技能代码

2016-08-11 14:02:02

NodeJS前端

2020-04-15 15:48:03

Node.jsstream前端

2013-11-01 09:34:56

Node.js技术

2017-03-20 13:43:51

Node.js内存泄漏

2017-03-19 16:40:28

漏洞Node.js内存泄漏

2015-03-10 10:59:18

Node.js开发指南基础介绍

2022-01-11 17:23:12

配置Node.jsNode

2021-06-10 07:51:07

Node.js循环机制

2020-05-29 15:33:28

Node.js框架JavaScript

2021-07-16 04:56:03

NodejsAddon

2021-03-04 23:12:57

Node.js异步迭代器开发
点赞
收藏

51CTO技术栈公众号