node压缩文件夹

前几天遇到一个需求，将一个10G的文件夹打包压缩，并去除黑名单上的文件。

node自带的只能压缩文件。网上看了集中方案要么对大文件操作不行，要么只能直接操作文件夹，无法对文件夹遍历筛选。

后来确定使用先遍历文件夹打包，然后再压缩的方案。然后在找打包模块时发现tar打包时可以直接压缩。试验后确定使用这种方案。本机试验，12G的文件夹，耗时大约18分钟。

代码如下，其中的tar时第三方模块，需要另外安装     npm install tar

 var fs = require('fs')
 var path = require('path')
 var util = require('util')
 var tar = require('tar')
 var zlib = require('zlib')

 var now = Date.now()

 var pack = new tar.Pack({gzip:true})

 var root = path.join('F:\\test')
 console.log(root)

 //遍历文件夹，并以指定基准输出
 readDirSync(root,"base")
 function readDirSync(path,base) {
     if(base == undefined) {
         base = path
     }
     var pa = fs.readdirSync(path)
     pa.forEach((ele,index)=>{
         var info = fs.statSync(path + "/" + ele)

         if(info.isDirectory()) {
             //console.log("dir:" + ele)
             readDirSync(path + "/" + ele,base +"/" + ele)
         } else {
            // console.log("file:" + base +"/" + ele)
            pack.add(path + "/" + ele)
         }
     })

 }

 pack.end()
 var writeStream = fs.createWriteStream('test.tar.gz')

 writeStream.on('finish',()=>{
     console.log(Date.now() - now)
 })
 //pack.write('test.tar')
 pack.pipe(writeStream)

代码的逻辑很简单，就是遍历文件夹，添加到pack流中。第9行，设置使用gzip压缩。得到文件名后 就可以对文件做过滤了。也可以使用tar的api，设置filter过滤，根据自己喜好选择。

压缩文件的格式命名需要是 tar.gz 否则用解压软件打开时会产生奇怪的现象~~~

tar的项目地址 https://www.npmjs.com/package/tar