如何用Python创建采用ZLIB 9级压缩的ORC文件？

我完全懂你的困扰！PyArrow的ORC写入器确实没直接提供compression_level参数来设置ZLIB的9级压缩，只能在Speed和Compression两种策略里二选一，这对于追求极致压缩率的场景来说确实不够用。

咱们可以试试这几个可行的方案：

方案一：用PySpark（Spark Python API）实现 #

Spark对ORC的压缩配置支持得更灵活，能直接指定ZLIB的压缩级别。步骤很简单：

1. 把PyArrow的Table转换成Spark DataFrame
2. 配置ORC的压缩参数，指定ZLIB级别为9
3. 写入文件

代码示例：

import pyarrow as pa
from pyspark.sql import SparkSession

# 假设你已经有了PyArrow格式的table数据
table = pa.Table.from_pydict({"col1": [1, 2, 3], "col2": ["a", "b", "c"]})

# 初始化Spark会话
spark = SparkSession.builder.appName("ORC_ZLIB_Level9").getOrCreate()

# 将PyArrow Table转成Spark DataFrame
spark_df = spark.createDataFrame(table.to_pandas())

# 配置并写入ORC文件，指定ZLIB压缩级别9
spark_df.write.format("orc") \
  .option("compression", "zlib") \
  .option("zlib.compression.level", 9) \
  .save("output_zlib_level9.orc")

方案二：使用python-orc库（替代PyArrow） #

如果你不想引入Spark，也可以试试python-orc这个库（需要先通过pip install python-orc安装），它的写入器支持通过compression_args传递ZLIB的压缩级别：

import pyarrow as pa
import orc

# 假设你有PyArrow的table数据
table = pa.Table.from_pydict({"col1": [1, 2, 3], "col2": ["a", "b", "c"]})

# 写入ORC文件，指定ZLIB压缩级别9
with open("output_zlib_level9.orc", "wb") as f:
    writer = orc.Writer(f, compression="zlib", compression_args={"level": 9})
    writer.write(table.to_pandas())

关于PyArrow的现状 #

如果你坚持想用PyArrow的话，目前官方版本确实没有暴露ZLIB压缩级别的参数，只能依赖它默认的COMPRESSION策略（这个策略对应的ZLIB级别大概是6左右）。你可以关注PyArrow的后续版本更新，或者给官方提交Feature Request来争取这个功能。

备注：内容来源于stack exchange，提问作者Y.S