如何为Pandas DataFrame.to_parquet设置Zstd压缩级别?
Pandas导出Parquet时指定Zstd压缩级别
要在Pandas中指定Zstd的压缩级别,不能直接把compression设为字符串"zstd",而是要传入一个字典,明确指定压缩方法和对应的级别:
result_df.to_parquet("my-data.parquet", compression={"method": "zstd", "level": 3})
Zstd的压缩级别范围通常是1到22,级别越高,压缩后的文件越小,但压缩过程的耗时也会增加。默认的Zstd压缩级别一般为3,你可以根据自身对压缩率和性能的需求调整level参数的数值。
内容的提问来源于stack exchange,提问作者Mikko Ohtamaa
相关产品推荐
相关产品推荐

