Python 3.9与3.10中zlib level=0的输出大小差异及解决方法

问题背景 #

以下Python代码使用zlib以level=0（不执行压缩）的方式编码数据：

import zlib

print('zlib.ZLIB_VERSION', zlib.ZLIB_VERSION)

total = 0
print('Total 1', total)
compress_obj = zlib.compressobj(level=0, memLevel=9, wbits=-zlib.MAX_WBITS)
total += len(compress_obj.compress(b'-' * 1000000))
print('Total 2', total)
total += len(compress_obj.flush())
print('Total 3', total)

在Python 3.9.12（对应zlib 1.2.12）中的输出：

zlib.ZLIB_VERSION 1.2.12
Total 1 0
Total 2 983068
Total 3 1000080

在Python 3.10.6/3.11.0（对应zlib 1.2.13）中的输出：

zlib.ZLIB_VERSION 1.2.13
Total 1 0
Total 2 1000080
Total 3 1000085

可见两个版本的中间输出（Total 2）和最终输出（Total 3）大小均存在差异，需要明确差异原因并实现跨版本的一致行为（用于编写要求版本间行为一致的库）。

差异原因 #

核心差异来自zlib库版本的变更：

• zlib 1.2.12及更早版本中，当level=0时，compress()方法会按memLevel参数控制的块大小分块处理输入数据，因此第一次调用compress()仅返回大部分编码后的数据，剩余部分在flush()时输出。
• zlib 1.2.13对level=0的处理逻辑做了调整：直接将全部输入数据编码后放在compress()的返回结果中，flush()仅输出少量收尾元数据（如校验信息），导致中间输出和最终输出的大小分布变化。

此外，最终输出总大小的差异（1000080 vs 1000085）是因为zlib 1.2.13在level=0时默认添加了额外的ADLER32校验信息，而旧版本的校验逻辑不同。

跨版本一致行为的实现方案 #

要实现跨Python/zlib版本的一致输出，需强制zlib采用统一编码逻辑，可采用以下方案：

方案1：使用统一的压缩参数并控制流式处理 #

显式指定参数以对齐不同版本的行为，同时手动控制分块逻辑：

import zlib

# 采用原始DEFLATE格式（wbits=-zlib.MAX_WBITS），确保基础格式一致
compress_obj = zlib.compressobj(
    level=0,
    memLevel=9,
    wbits=-zlib.MAX_WBITS,
    strategy=zlib.Z_DEFAULT_STRATEGY
)

# 手动按固定大小分块输入，模拟旧版本的分块行为
chunk_size = 983040  # 匹配zlib 1.2.12的默认分块大小
data = b'-' * 1000000
total = 0
for i in range(0, len(data), chunk_size):
    chunk = data[i:i+chunk_size]
    total += len(compress_obj.compress(chunk))
total += len(compress_obj.flush())
print('Total', total)

方案2：使用一次性压缩替代流式压缩 #

如果不需要流式处理，直接使用zlib.compress()一次性压缩数据，可避免中间分块的差异，确保最终结果一致：

import zlib

data = b'-' * 1000000
compressed = zlib.compress(data, level=0, wbits=-zlib.MAX_WBITS)
print(len(compressed))

方案3：强制关闭校验消除差异 #

若不需要校验信息，可通过调整参数关闭校验，彻底消除版本间的校验逻辑差异：

# 注意：需确认业务场景允许关闭校验
compressed = zlib.compress(data, level=0, wbits=-zlib.MAX_WBITS)
# 注：zlib的原始DEFLATE格式默认不带校验，若需明确可结合其他参数确保行为一致

内容的提问来源于stack exchange，提问作者Michal Charemza