数百GB级gzip压缩文件的in-place原地修改方案咨询

标准gzip格式无法实现真正意义上的in-place修改，核心原因是gzip基于DEFLATE流式压缩算法，压缩后的内容和原始数据不存在固定偏移的一一对应关系，任意位置的内容改动不仅会改变压缩后的数据长度，还会导致后续所有压缩块的滑动窗口上下文失效，必须全量重写才能保证文件可用性。

针对数百GB规模文件的修改需求，可参考以下更优的解决方案： #

方案1：转换为块压缩格式实现局部修改（推荐） #

如果可以调整文件存储格式，优先切换为bgzip（Blocked GNU Zip）格式：

• bgzip是完全兼容标准gzip的压缩格式，输出的文件可以直接用普通gzip/gunzip工具解压
• 内部将文件拆分为多个独立的64KB压缩块，每个块的压缩互不依赖，支持随机读取指定位置的内容
• 配合索引工具可以快速定位到修改内容所在的块，仅重写受影响的1-2个压缩块即可，不需要处理全文件，几百GB文件修改少量内容的IO开销仅为几十MB
  操作示例：

1. 一次性将原有gzip文件转为bgzip格式（仅需执行一次）：

# 用8线程转换，生成的bgzip文件后缀仍为.gz，兼容普通gzip
bgzip -@ 8 -d your_file.tsv.gz -c | bgzip -@ 8 > your_file.bgzip.tsv.gz
# 针对TSV文件构建索引，方便快速定位行位置
tabix -s 1 -b 2 -e 3 your_file.bgzip.tsv.gz

2. 后续修改内容时，仅需读取目标块修改后回写即可，无需遍历全文件。

方案2：标准gzip格式优化方案 #

如果必须使用标准gzip格式，无法切换为bgzip，可以根据修改场景优化开销：

• 如果修改内容集中在文件前半部分：可以先解压修改段，处理完成后重新压缩，后续未修改的压缩块直接以二进制形式拷贝到新文件，不需要解压再重压缩，可节省90%以上的CPU和IO时间
• 如果必须全量重写，优化现有代码的性能：
  1. 改用块读取替代逐行读取，每次读取16MB~32MB大小的块处理，减少IO上下文切换开销
  2. 全程用二进制模式处理，避免bytes和str的反复编解码开销
  3. 替换标准gzip库为多线程压缩实现（如pigz对应的Python库python-pigz），压缩速度可提升3~8倍
     优化后的代码示例：

import pigz
import os

BLOCK_SIZE = 32 * 1024 * 1024  # 32MB块大小
with pigz.open(input_path, "rb", threads=8) as in_file, \
     pigz.open(temp_output_path, "wb", threads=8) as out_file:
    leftover = b""
    while block := in_file.read(BLOCK_SIZE):
        # 拼接上一个块剩余的不完整行
        block = leftover + block
        lines = block.split(b"\n")
        # 保留最后一个不完整行到下一个块处理
        leftover = lines.pop()
        for line in lines:
            split_line = line.split(b"\t")
            if split_line[0] == b"hello":
                split_line[0] = b"hi"
            out_file.write(b"\t".join(split_line) + b"\n")
    # 处理最后剩余的行
    if leftover:
        split_line = leftover.split(b"\t")
        if split_line[0] == b"hello":
            split_line[0] = b"hi"
        out_file.write(b"\t".join(split_line))
# 校验完成后用临时文件替换原文件
os.replace(temp_output_path, input_path)

注意：无论使用哪种方案，都不要直接写入原文件，必须先写入临时文件校验无误后再替换原文件，避免修改过程中断导致原文件损坏。

内容的提问来源于stack exchange，提问作者Dr. Strangelove