实现只读gzip流中的高效seek功能

问题背景 #

我开发的应用需要对.gz类文件对象执行seek操作。Python自带的gzip.GzipFile虽支持该操作，但效率极低——当执行回退seek时，它会将流重置至起始位置（seek(0)），再读取并解压所有数据直至目标偏移量。这种处理方式在面对几十GB级别的tar.gz文件时，会严重拖慢性能。因此我计划实现checkpoint机制：定期存储流状态，当需要回退seek时，仅跳转到最近的已存储checkpoint，而非重置至流的起始位置。

核心疑问 #

围绕gzip/zlib的实现，我有以下疑问：

• 当前解压器状态包含哪些内容？
• 这些状态存储在哪里？
• 状态占用多大空间？
• 如何从已打开的只读rb模式GzipFile对象中复制该状态，并在回退seek时恢复它？

注：无法控制输入的.gz文件，解决方案必须严格适用于只读rb模式的GzipFile。

自行梳理的CPython源码流程与数据结构 #

查看CPython源码后，梳理出从Python层到底层C的相关代码流程与数据结构：

1. gzip.GzipFile._buffer.raw
2. gzip._GzipReader
3. gzip._GzipReader.seek() 等价于 DecompressReader.seek() —— 此处为需要修改的核心位置
4. ZlibDecompressor 状态及其深拷贝 —— 需实现复制/恢复逻辑的关键部分
5. zlib底层的z_stream结构体
6. zlib内部的internal_state结构体

zlib官方zran.c示例的参考思路 #

在zlib的zran.c示例中，找到了相关实现思路：

可在任意deflate块起始处创建访问点（即我所说的checkpoint），方法是保存该块的起始文件偏移量和位，以及该块之前的32KB未压缩数据，同时保存该块的未压缩偏移量，以便在未压缩流中定位所需起始点。另一种构建索引的方法是使用inflateCopy()，它不限制访问点必须在块边界，但每个访问点占用更多内存，且因状态中使用指针无法保存到文件。

该思路基本解答了我的疑问，但目前仍需解决如何将zran.c的逻辑适配到CPython的gzip/zlib框架中的问题。

内容的提问来源于stack exchange，提问作者user124114