如何在不修改默认分区大小的情况下写入大Parquet文件并避免小文件？

核心思路是：通过coalesce将DataFrame的物理分区数调整为总数据量/128MB的向上取整值，让每个分区写入的Parquet文件大小接近128MB，既不触发单文件大小限制，也不会生成小文件。

具体操作步骤 #

1. 估算目标分区数
   先确定待写入数据的压缩后总大小（Parquet是列式压缩格式，需结合数据类型考虑压缩比：比如文本类数据压缩比约3:1，数值型数据压缩比更高）。假设总大小为600MB，默认单文件大小128MB，计算所需分区数：

   目标分区数 = 向上取整(总大小 / 128MB) = 向上取整(600/128) = 5
   

   若不确定总大小，可通过采样估算：抽取10%的数据写入临时文件，计算大小后乘以10得到总数据量。

2. 用coalesce合并分区
   对DataFrame调用coalesce指定计算好的分区数，再写入Parquet。coalesce是窄依赖操作，仅合并现有分区、不打乱数据分布，效率远高于repartition。

代码示例 #

Spark Scala

// 假设df是待写入的DataFrame
// 已知总压缩后大小为600MB时的写法
val targetPartitions = math.ceil(600.0 / 128).toInt
val optimizedDF = df.coalesce(targetPartitions)

// 写入数据湖路径
optimizedDF.write
  .mode("overwrite")
  .parquet("s3://your-data-lake-path/path/to/parquet")

PySpark

from math import ceil

# 已知总压缩后大小为600MB时的写法
target_partitions = ceil(600.0 / 128)
optimized_df = df.coalesce(target_partitions)

# 写入数据湖路径
optimized_df.write \
    .mode("overwrite") \
    .parquet("s3://your-data-lake-path/path/to/parquet")

关键注意事项 #

• 避免过度合并：若目标分区数过小，单个分区数据量过大可能引发Executor内存溢出（OOM），建议单分区数据量不超过Executor内存的70%。
• 处理数据倾斜：若原始DataFrame存在数据倾斜，coalesce可能导致合并后的分区大小不均，此时可先用repartition打散数据，再用coalesce合并（会牺牲部分效率）。
• 逻辑分区场景：如果写入时使用partitionBy（按日期、地域等逻辑分区），需确保每个逻辑分区内的数据量足够生成至少一个128MB的文件；若某逻辑分区数据量过小，可对其单独调用coalesce(1)避免生成极小文件。

内容的提问来源于stack exchange，提问作者Antônio Rosa