如何让Python实现与C语言zlib.h一致的高压缩率？

问题核心 #

你需要将C语言基于zlib.h生成.gz文件的逻辑迁移到Python，但现有Python方法的压缩率远低于C代码——C生成的文件仅13MB，而Python最优的二进制压缩方案（npygz）达到21MB，差距近一倍。

差异原因 #

你的C代码与Python代码的本质差异在于压缩的原始内容完全不同：

• C代码将随机数格式化为固定8位小数的结构化文本（如0.12345678,），这类文本存在大量重复模式（小数点、逗号、固定长度数字序列），zlib对其压缩效率极高；
• 而你尝试的Python方案（npy/pickle）直接压缩二进制double原始数据，二进制浮点数的随机性远高于结构化文本，压缩率自然更低。

C代码示例 #

#include <stdio.h>
#include <stdlib.h>
#include <zlib.h>
#include <math.h>
#include <time.h>

int main()
{
    void init_genrand64(unsigned long);
    double genrand64_real2(void);

    init_genrand64((unsigned long long)time(NULL));
    double r = 0;

    gzFile fp = gzopen("test_in_C.gz", "wb");
    for (int i = 0; i < 293; ++i)
    {
        for (int j = 0; j < 10000; ++j)
        {
            r = genrand64_real2();
            if(j < 9999)
            {
                gzprintf(fp, "%.8lf,", r);
            }
            else
            {
                gzprintf(fp, "%.8lf\n", r);
            }
        }
    }
    gzclose(fp);
}

你尝试的Python代码 #

import pandas as pd
import numpy as np

df = pd.DataFrame(columns = range(293), data = np.random.rand(10000,293))

#csv, plain txt
df.to_csv("test_dat.csv", index = False, header = False)

#pickle, binary
df.to_pickle("test_dat.pk")

#pickle, compressed binary
df.to_pickle("test_dat.pkgz", compression = "gzip")

#npy, binary
np.save("test_dat.npy", df.values)

import gzip

#npy, compressed binary
with gzip.open("test_dat.npygz", "wb") as f:
    np.save(f, df.values)
    
#csv, compressed binary
with gzip.open("test_dat.gz", "wb") as f:
    for i in range(len(df)):
        for j in range(len(df.columns)):
            if j < len(df.columns) - 1:
                f.write((str(df.iloc[i,j]) + ",").encode())
            else:
                f.write((str(df.iloc[i,j]) + "\n").encode())

#npy, compressed binary
import zlib
dat = zlib.compress(df.values)
with open("test_dat.zl", "wb") as f:
    f.write(dat)

文件大小对比 #

test_in_C.gz   13MB
test_dat.csv   54MB (56460866B)
test_dat.pk    22MB (23440571B)
test_dat.npy   22MB (23440128B)
test_dat.pkgz  21MB (22104880B)
test_dat.npygz 21MB (22104445B)
test_dat.gz    24MB (25663307B)
test_dat.zl    21MB (22104671B)

解决方案：模拟C的文本生成+匹配压缩参数 #

要实现和C一致的压缩效果，必须生成与C完全相同的文本内容，再用zlib默认压缩级别（对应C的Z_DEFAULT_COMPRESSION=6）压缩。

基础实现（一次性生成） #

import numpy as np
import gzip
import time
from numpy.random import MT19937, RandomState

# 模拟C的mt19937-64随机数生成器
rs = RandomState(MT19937(seed=int(time.time())))
data = rs.rand(10000, 293)

# 生成与C完全一致的文本格式：每行293个%.8lf格式的数，逗号分隔，末尾换行
lines = []
for row in data:
    line = ','.join(f"{num:.8f}" for num in row) + '\n'
    lines.append(line)
text_content = ''.join(lines).encode('ascii')

# 用zlib默认压缩级别压缩（对应C的gzopen默认参数）
with gzip.open("test_python_mimic_C.gz", "wb", compresslevel=6) as f:
    f.write(text_content)

大文件流式实现（避免内存溢出） #

如果处理800MB级别的大数据，推荐逐行生成写入，不占用过多内存：

import numpy as np
import gzip
import time
from numpy.random import MT19937, RandomState

rs = RandomState(MT19937(seed=int(time.time())))
with gzip.open("test_python_stream.gz", "wb", compresslevel=6) as f:
    for _ in range(10000):
        row = rs.rand(293)
        line = ','.join(f"{num:.8f}" for num in row) + '\n'
        f.write(line.encode('ascii'))

关键细节 #

1. 压缩级别匹配：C的gzopen默认使用Z_DEFAULT_COMPRESSION（对应级别6），Python的gzip.open默认是9，需显式指定compresslevel=6以匹配C的参数；
2. 随机数一致性：C使用mt19937-64生成器，Python默认用PCG64，需替换为MT19937才能生成完全相同的随机数序列；
3. 文本格式严格一致：必须用%.8f格式化浮点数，确保生成的字符串与C的gzprintf("%.8lf")完全一致。

内容的提问来源于stack exchange，提问作者lksj