如何使用ZLIB压缩将Koalas DataFrame保存为ORC格式？

你可以直接通过to_orc方法的compression参数指定使用ZLIB压缩，将参数值设为'zlib'即可完成保存。

示例代码 #

假设你已经创建了Koalas DataFrame对象kdf，调用方式如下：

kdf.to_orc(path="/目标保存路径/文件名.orc", compression="zlib")

补充说明 #

• 若需要调整压缩级别，可通过compression_level参数设置（ZLIB支持1-9的级别，默认值为6，数值越高压缩率越高但耗时更长）
• compression参数还支持'snappy'、'gzip'、'none'等ORC格式兼容的其他压缩方式

内容的提问来源于stack exchange，提问作者neves