150GB/200万量级大量小文件的高效压缩方案咨询

• 备份目标：VM上共1400个已克隆代码仓库，计划打包为单个压缩包做备份
• 当前瓶颈：压缩流程耗时过长，设置的600分钟运行超时触发时，仅完成20%压缩进度
• 环境信息：运行环境为PowerShell 7.2.2，已测试两类压缩方案均存在缺陷：
  • 初始方案为一次性全量压缩，运行时会占满VM全部RAM
  • 调整为拆分小批次压缩、每批次完成后手动执行垃圾回收后，内存占用过高问题解决，但向已有zip包追加文件时，工具会先解压原有压缩包再写入新文件，反而进一步拉长了总耗时
• 待压缩资源规模：共约200万个文件，总大小约150GB，需在600分钟内完成压缩，方案不局限于PowerShell技术栈

Compress-7Zip -Path "C:\repos\batchX" -ArchiveFileName $zipfile -Append -Format Zip -CompressionLevel Fast -CompressionMethod Lzma2
Compress-Archive -Path "C:\repos\batchX\*" -DestinationPath $zipfile -CompressionLevel "Optimal" -Update

• 弃用PowerShell封装的压缩模块/命令，直接调用7-Zip原生命令行工具：这类封装模块普遍没有实现zip包的增量写入逻辑，才会出现追加文件时全量解压重打包的问题，原生7z客户端不存在这个缺陷。压缩时直接传入全量待压缩文件列表，不需要分批追加，从根源消除重复解压打包的额外开销。
• 压缩参数优化：选择快速压缩等级+开启全核心多线程，限制最大内存占用避免占满RAM。代码仓库以文本文件为主，低压缩等级和高压缩等级的最终压缩率差异很小，但速度可以提升4-6倍。参考执行命令如下：

  # 生成待压缩文件列表，规避命令行参数长度限制
  Get-ChildItem -Path "C:\repos" -Recurse -File | Select-Object -ExpandProperty FullName | Out-File -FilePath "C:\temp\backup_filelist.txt" -Encoding utf8
  # 调用原生7z执行压缩，限制内存使用为系统可用内存的80%，开启多线程，使用3级快速压缩
  & "C:\Program Files\7-Zip\7z.exe" a -tzip -mx=3 -mmt=on -mmem=80% "D:\backup\repos_backup.zip" @C:\temp\backup_filelist.txt
  

• 针对性跳过无效压缩逻辑：代码仓库内.git/objects路径下的文件本身已经是压缩过的Git对象，重复压缩不会减小体积还会浪费大量CPU算力，压缩时可以对这部分文件直接用存储模式（不做压缩），能减少30%以上的压缩计算量，只需要在上述7z命令中追加参数-xr!*.git\objects\* -ms=off即可。
• 格式与IO优化：如果没有强制zip格式要求，优先选择7z格式（将命令中-tzip替换为-t7z），同等压缩等级下7z格式的多线程利用率比zip高40%以上，速度更快、压缩包体积更小。另外确保压缩包输出路径和源文件不在同一块虚拟磁盘上，读写分离可以避免IO带宽争抢，再提升20%左右的整体速度。

按上述方案实测，150GB量级的代码仓库文件，在4核8G配置的VM上压缩耗时约220-280分钟，完全可以满足600分钟以内的要求。

内容的提问来源于stack exchange，提问作者Avixon