如何分块提取tar.gz文件 边解压边删除已处理块节省磁盘空间

你不需要配备20TB以上磁盘，边解压边释放原压缩包空间的操作可行，但不能用常规解压命令直接操作，需要适配流式处理逻辑，同时要满足几个前提条件。

• .tar.gz是两层结构：外层是gzip流式压缩层，内层是tar归档层。gzip本身是顺序流式压缩格式，从文件头开始顺序读取即可完成全部解压，不需要随机回读已经处理过的压缩块，这是边处理边删原文件能成立的核心基础。
• 常规tar -xzf 文件名.tar.gz解压逻辑做不到空间释放：这种模式下tar进程会一直持有原压缩包的完整文件句柄，就算你手动删除原文件，操作系统也会等进程退出后才回收磁盘空间，整个解压过程中10TB原包会一直占着空间，加上解压出来的文件确实需要20TB左右空间才能跑完——很多人说必须20TB空间，指的就是默认解压方式的空间需求，不是物理上的硬性要求。

你需要通过「逐块读取压缩包→送入解压管道→截断已读的原文件块释放空间」的流式逻辑处理，步骤如下：

• 先确认解压后的总大小：执行gzip -l 你的文件.tar.gz查看压缩包记录的解压后总体积，只要解压后总体积≤15TB（留1TB左右冗余防止临时空间、日志占满磁盘），16TB磁盘就够用。如果解压后总体积本身超过16TB，不管怎么处理都必须加磁盘。
• 不要用图形化归档管理器、不要直接调用常规tar解压命令，采用逐块处理逻辑：每次从原压缩包头部读取固定大小块（建议设为10GB~20GB，平衡IO效率和空间回收频率），将块内容送入gzip解压管道，再传给tar提取文件；确认块内容完全送入管道后，执行截断命令把原文件已经读完的前序块裁掉，操作系统会立刻回收这部分空间。
• 截断操作前必须确认当前块已经全部读取并写入解压管道，不要提前截断未读内容，否则会造成压缩包不可逆损坏。
• 处理过程中不要中断进程，一旦中途断电、进程被杀，原压缩包已经被截断的部分无法恢复，剩余压缩内容会损坏无法继续解压。

不要尝试直接在解压过程中手动rm原压缩包：只要tar/gzip进程还持有原文件的打开句柄，rm操作只会删除文件目录项，不会释放任何磁盘空间，直到解压进程结束才会一次性回收，该占的空间一点不会少。

内容的提问来源于stack exchange，提问作者David