Spark中ORC Snappy压缩优化及文件大小异常问题排查

问题原因 #

原始数据集通过多次128KB小文件写入生成ORC Snappy文件，Spark读取重写后体积暴涨，核心是ORC编码/压缩策略与原始写入逻辑不匹配：

• 字典编码复用率差异：原始小文件写入时，每个文件的字符串列局部重复度高，生成的字典更紧凑；Spark读取后数据被重新分区，全局数据重复度被稀释，且默认字典编码触发阈值（orc.dictionary.key.threshold=0.8）可能未满足，导致字符串列放弃字典编码，直接用原始存储，压缩率暴跌。
• Stripe与文件粒度不匹配：ORC压缩基于Stripe（默认64MB），原始小文件的Stripe远小于默认值，局部数据统计信息更精准，压缩效率更高；Spark重写时用大Stripe，无法利用局部数据的高重复度优化压缩。
• 列统计信息未有效利用：原始ORC文件的列统计（值分布、频率）能指导压缩策略，Spark重写时默认未生成足够细致的统计，导致压缩算法无法针对性优化。

最优优化方案 #

针对上述问题，调整Spark ORC写入核心参数，让重写后的文件尽可能接近原始体积：

1. 强制启用字典编码并调整阈值 #

字符串列是压缩率暴跌的核心，强制为字符串列启用字典编码并降低触发阈值：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("orc.dictionary.key.threshold", 0.1)  # 不同值占比低于90%即启用字典编码
    .config("orc.dictionary.encoding", "true")  # 强制开启字典编码
    .getOrCreate()

dataframe_out.write \
    .mode("overwrite") \
    .option("compression", "snappy") \
    .orc(dirname_out)

2. 匹配原始数据的Stripe大小 #

将Stripe大小调整为接近原始小文件的粒度（128KB，单位为字节）：

dataframe_out.write \
    .mode("overwrite") \
    .option("compression", "snappy") \
    .option("orc.stripe.size", 131072)  # 128KB = 128*1024字节
    .option("orc.row.index.stride", 1000)  # 减小行索引步长，适配小Stripe
    .orc(dirname_out)

3. 保留并复用原始列统计 #

读取时加载原始ORC的统计信息，写入时生成更细致的列统计：

# 读取时启用统计信息加载
dataframe_in = spark.read \
    .option("orc.column.statistics.enabled", "true") \
    .orc("myfolder/*")

# 写入时强制生成列统计
dataframe_in.write \
    .mode("overwrite") \
    .option("compression", "snappy") \
    .option("orc.column.statistics.enabled", "true") \
    .option("orc.bloom.filter.columns", "*")  # 为所有列生成布隆过滤器，辅助压缩优化
    .orc(dirname_out)

4. 避免不必要的分区操作 #

coalesce/repartition会打乱原始数据的局部重复分布，建议直接读取后写入；若需调整文件数量，用maxRecordsPerFile匹配原始文件行数（计算得约15000行/文件）：

dataframe_out.write \
    .mode("overwrite") \
    .option("compression", "snappy") \
    .option("maxRecordsPerFile", 15000) \
    .orc(dirname_out)

验证方案 #

组合上述参数测试（如同时开启字典编码+匹配Stripe大小+保留统计），可让重写后的ORC Snappy文件体积接近原始3.3GB的水平。

内容的提问来源于stack exchange，提问作者user19695124