Spark重分区合并HDFS小Parquet文件后数据量异常增大求助

核心原因分析 #

Parquet合并后数据量异常增大，通常和压缩配置、分区策略、Spark写入参数直接相关：

• 原始数据可能采用了高压缩比算法（如Snappy、GZIP），而Spark写入时使用了默认低压缩或无压缩配置
• 分区数设置不合理，导致单个分区数据量过小，Parquet列存元数据占比过高
• 未适配Parquet的特性参数，额外生成了冗余数据

具体解决步骤 #

1. 显式指定高压缩比算法 #

Spark写入Parquet的默认压缩策略可能不是最优的，需手动指定匹配原始数据的压缩算法：

// Scala 示例
spark.read.parquet("hdfs://path/to/small-parquets")
  .repartition((7.9 * 1024 / 128).toInt) // 按目标文件大小计算分区数：总GB转MB后除以128
  .write
  .option("compression", "snappy") // 可选gzip/lz4，Snappy兼顾性能与压缩比
  .mode("overwrite")
  .parquet("hdfs://path/to/merged-parquets")

# Python 示例
spark.read.parquet("hdfs://path/to/small-parquets") \
  .repartition(int((7.9 * 1024) / 128)) \
  .write \
  .option("compression", "snappy") \
  .mode("overwrite") \
  .parquet("hdfs://path/to/merged-parquets")

2. 优化分区策略 #

• 若原始数据分区数接近目标值，优先使用coalesce（不触发Shuffle，减少额外开销）
• 如需按字段分区，用repartitionByRange保证每个分区数据量均匀，避免小分区导致元数据占比过高
• 计算分区数时预留冗余：比如7.9GB对应约62个128MB分区，可设置为65个，避免最后一个文件过小

3. 适配Parquet专属参数 #

• 对齐HDFS块大小，设置Parquet块大小为128MB：

.option("parquet.block.size", 134217728) // 128MB对应的字节数

• 启用字典编码（对重复值多的列压缩效果显著）：

.option("parquet.enable.dictionary", "true")

验证操作 #

写入完成后，用HDFS命令检查文件大小：

hdfs dfs -du -h hdfs://path/to/merged-parquets

确认单文件大小接近128MB，总数据量与原始数据基本一致。

内容的提问来源于stack exchange，提问作者pavan kumar