如何在NodeJS中按自定义目录结构归档文件？

问题背景 #

本地现有目录结构：

/parentDir/
  |__dirA/
      |__file1
      |__file2
      |...
  |__dirB/
      |__file3
      |...
  |...

需要打包成数百GB级的归档文件，且归档内的文件要按自定义目录结构存放，最终归档结构如下：

/rootArchive/
 |__dir1/
     |__subDir1/
        |__subSubDir1/
           |__file1
           |__...
        |__subSubDir2/
           |__...
     |__subDir2/
        |__...
 |__dir2/
    |__...

要求：无需先创建临时目录、复制文件再归档删除的冗余操作，优先使用node-tar工具，也可考虑其他方案。

可行方案 #

1. 用node-tar打包时自定义路径映射 #

别被误解，node-tar在打包阶段完全支持自定义文件路径，不需要临时复制文件。它提供的map选项，能在处理每个文件时修改归档内的路径，流式处理的方式还能避免大文件占满内存。

示例代码：

const tar = require('tar');
const fs = require('fs');

// 定义路径映射规则：键是源文件相对parentDir的路径，值是归档里的目标路径
const pathMapping = {
  'dirA/file1': 'rootArchive/dir1/subDir1/subSubDir1/file1',
  'dirA/file2': 'rootArchive/dir1/subDir1/subSubDir2/file2',
  'dirB/file3': 'rootArchive/dir2/file3',
  // 更多文件的映射规则...
};

// 执行打包
tar.c(
  {
    file: 'custom-archive.tar',
    // 流式写入，适配超大文件
    stream: fs.createWriteStream('custom-archive.tar'),
    map: (header) => {
      const originalPath = header.path;
      // 替换成目标路径
      if (pathMapping[originalPath]) {
        header.path = pathMapping[originalPath];
      }
      // 目录的映射也可以在这里处理
      return header;
    },
    // 需要压缩的话加这个选项，比如gzip（注意大文件压缩耗CPU）
    // gzip: true,
  },
  // 指定要打包的源目录内容
  ['parentDir']
).then(() => {
  console.log('归档完成');
}).catch(err => {
  console.error('归档失败:', err);
});

如果文件数量极多，挨个写映射规则太麻烦，可以用正则表达式批量匹配：

map: (header) => {
  const originalPath = header.path;
  // 批量替换dirA下的所有文件
  if (originalPath.startsWith('dirA/')) {
    header.path = originalPath.replace(/^dirA\/(.*)$/, 'rootArchive/dir1/subDir1/subSubDir1/$1');
  }
  // 批量处理dirB
  else if (originalPath.startsWith('dirB/')) {
    header.path = originalPath.replace(/^dirB\/(.*)$/, 'rootArchive/dir2/$1');
  }
  return header;
}

2. 用GNU tar的--transform选项（系统级工具） #

如果你的机器装有GNU tar（Linux/macOS默认都自带），用命令行处理超大归档更高效，--transform选项直接支持打包时重写路径，完全不需要临时文件。

单个文件映射的命令：

cd parentDir
tar -cf custom-archive.tar \
  --transform='s/^dirA\/file1$/rootArchive\/dir1\/subDir1\/subSubDir1\/file1/' \
  --transform='s/^dirA\/file2$/rootArchive\/dir1\/subDir1\/subSubDir2\/file2/' \
  --transform='s/^dirB\/file3$/rootArchive\/dir2\/file3/' \
  dirA dirB

批量映射用正则更方便，比如把dirA下所有文件都放到指定子目录：

cd parentDir
tar -cf custom-archive.tar \
  --transform='s/^dirA\/(.*)$/rootArchive\/dir1\/subDir1\/subSubDir1\/\1/' \
  --transform='s/^dirB\/(.*)$/rootArchive\/dir2\/\1/' \
  dirA dirB

需要压缩的话，加-z（gzip）或者-J（xz）参数即可，比如tar -czf custom-archive.tar.gz ...，不过大文件压缩会比较耗时，可根据需求选择。

内容的提问来源于stack exchange，提问作者Vlad Crehul