如何跨系统重启继续zlib解压进程？

一、压缩阶段：提前埋入可恢复的同步点 #

要支持断点续解，核心是在压缩时定期生成不依赖历史数据的同步块，这正是Z_FULL_FLUSH的作用：

• 每次压缩一定量的数据后（比如每处理1GB原始数据，或固定时间间隔），调用deflate(strm, Z_FULL_FLUSH)。这个调用会强制输出所有待处理的压缩数据，并生成一个同步标记块，后续解压到此处时无需依赖之前的压缩状态即可继续。
• 每次执行Z_FULL_FLUSH后，必须记录两个关键信息：
  • 压缩文件中当前写指针的偏移位置（即同步块结束的位置）
  • 对应已经处理完成的原始文件字节数（也就是解压到这一步时已经输出的原始数据量）
• 将这些 checkpoint 信息存储起来：可以写入一个单独的元数据文件，或者嵌入到压缩文件的固定位置（比如每隔若干个同步块，在压缩文件尾部追加一次索引）。

二、解压阶段：从指定断点恢复 #

当设备重启后，需要从76%的进度（对应76GB原始数据）恢复解压：

1. 定位最近的有效checkpoint：从保存的checkpoint列表中，找到对应原始字节数≤76GB的最后一条记录，获取它的压缩文件偏移量和已解压的原始字节数（比如假设该checkpoint对应75GB原始数据，压缩文件偏移为Y）。
2. 初始化inflate流并定位文件：
   • 调用inflateInit2()初始化解压流（注意压缩时如果指定了自定义窗口大小等参数，这里必须保持一致）
   • 将压缩文件的读指针定位到偏移Y的位置
3. 开始续解压：
   • 从偏移Y开始读取压缩数据，正常调用inflate()处理即可。Z_FULL_FLUSH生成的同步块会让zlib自动重置内部状态，无需额外的初始化操作。
   • 将解压出的数据写入目标文件时，直接seek到已解压原始字节数的位置（比如75GB处），后续数据从该位置开始写入，跳过已经解压完成的部分。

关键注意事项 #

• Z_FULL_FLUSH会降低压缩率，因为同步块无法复用之前的历史压缩字典，所以要根据实际需求调整同步点频率，避免过度牺牲压缩效率。
• 压缩时必须确保deflate(Z_FULL_FLUSH)执行完成后，所有数据都已写入压缩文件（即deflate()返回Z_OK或Z_STREAM_END），否则checkpoint的偏移信息会不准确。
• 如果使用gzip格式封装zlib流，要注意不要让同步块破坏gzip的头部/尾部结构，建议直接使用原始zlib流格式，更便于断点续解的实现。
• 务必妥善保存checkpoint信息，最好和压缩文件绑定存储（比如写入压缩文件的末尾），避免元数据丢失导致无法恢复。

内容的提问来源于stack exchange，提问作者Anton Fernando