pandas to_hdf()的complevel参数作用及压缩无变化问题咨询

这是个很有意思的问题，我来帮你拆解清楚背后的原因，以及complevel参数的实际作用：

为什么complevel对blosc:snappy无影响？ #

核心原因在于Snappy压缩算法本身不支持压缩级别设置。Snappy是一款以速度优先的轻量压缩算法，设计时就没有提供不同压缩强度的选项——不管你传入什么级别，它都会用固定的默认策略执行压缩。

当你在complib中指定blosc:snappy时，Blosc只是作为一个容器去调用Snappy的压缩实现，这时候complevel参数会被Snappy直接忽略，所以你看到从1到9的文件大小完全一致。只有complevel=0是特殊情况：它会直接禁用所有压缩，所以文件会明显更大。

complevel在pandas.to_hdf()中的实际作用 #

根据pandas的设计，complevel是配合complib使用的参数，作用分两种情况：

• 当压缩算法支持级别设置时：比如zlib、blosc:zlib、blosc:lz4hc这类算法，complevel（取值0-9）控制压缩强度——级别越高，压缩率通常越高，但压缩速度会越慢；complevel=0则完全禁用压缩。
• 当压缩算法不支持级别设置时：比如Snappy、基础版LZ4，complevel参数会被忽略，只会启用该算法的默认压缩模式（相当于固定级别）。

验证示例：换用支持压缩级别的算法 #

为了直观看到complevel的效果，你可以换用blosc:zlib来测试，代码如下：

import pandas as pd
import numpy as np
import os

df = pd.DataFrame(np.random.randn(100000, 100))
for i in range(10):
    filename = "test_data_zlib{}.sz".format(i)
    df.to_hdf(filename, key="data", complib="blosc:zlib", complevel=i)
    size = os.path.getsize(filename)
    print("Size for complevel {} (zlib): {}".format(i, size))

运行这段代码后，你会明显看到从complevel=1到9，文件大小逐渐减小，这就体现了complevel对支持级别设置的算法的实际调控作用。

内容的提问来源于stack exchange，提问作者Jalo