如何快速并行合并百万文件？tar是否支持并行运行？

原生tar本身不支持并行归档操作。tar的文件格式为线性顺序结构，要求元数据、文件内容按固定块顺序连续写入单个输出流，归档生成的核心流程只能单线程执行。网上常提到的"并行tar"大多是指搭配pigz等并行压缩工具实现压缩阶段多线程，如果你不需要压缩，这类方案没有任何提速效果，反而会增加额外计算开销。

针对你要快速将百万文件合并为单文件、优先降低文件总数、无压缩要求的场景，有以下成熟的高速并行方案：

分块并行tar+拼接方案（完全兼容tar格式，无额外依赖） #

无压缩的tar文件天然支持直接拼接：多个合法的无压缩tar文件通过cat命令顺序合并后，得到的大文件依然是完全合法的tar归档，可以正常提取、查看。你可以基于这个特性做并行打包：

• 把待打包的百万文件按数量/大小拆分为和CPU核心数相等的批次
• 多进程并行把每个批次打包为独立的无压缩分块tar
• 最后用cat把所有分块tar顺序拼接为最终的单个归档文件

可以直接用GNU parallel实现一键操作，命令参考：

# 进入待打包文件的根目录执行
find . -type f -print0 | parallel -0 -j $(nproc) --pipe --block 10M "tar -cf - -T -" > final.tar

这个方案把耗时最高的文件遍历、元数据读取、小文件IO操作全部并行化，最后拼接阶段是连续大文件顺序写入，开销极低，整体速度比单线程tar快3-10倍（取决于磁盘性能和CPU核心数）。

多线程squashfs打包方案（操作最简单，后续使用更方便） #

squashfs是只读文件系统格式，其打包工具mksquashfs原生支持多线程并行处理，你可以指定无压缩参数，完全跳过压缩环节，速度远高于单线程tar：

mksquashfs /path/to/your/source_dir final.sqfs -comp none -processors $(nproc)

其中-comp none表示完全不做压缩，-processors $(nproc)表示调用所有CPU核心并行处理。生成的sqfs文件可以直接通过mount命令挂载访问，也支持用unsquashfs提取原文件，自带文件索引，后续查看文件列表、提取单个文件的速度远大于同等大小的tar包。

纯内容拼接方案（仅适合不需要保留文件结构、元数据的场景） #

如果你不需要保留原文件的文件名、权限、目录结构，也不需要后续拆分还原为原文件，只是要把所有文件的内容合并到单个大文件里，可以直接用并行cat的方式处理，速度是所有方案里最快的：

find /path/to/source_dir -type f -print0 | parallel -0 -j $(nproc) -k cat {} > final_single_file

注意加-k参数保证输出顺序和文件遍历顺序一致，避免内容乱序。

重要提醒：不要尝试让多个进程直接同时写入同一个目标文件，除非工具本身做了严格的写入顺序协调，否则会出现内容交错、文件损坏的问题。

内容的提问来源于stack exchange，提问作者poorya mirzavand