PySpark 2.4.7：实现跨分区写入指定总数且大小均衡的Parquet文件

核心思路 #

要实现所有分区总文件数约为指定数量且文件大小相近，关键是让Spark根据数据量自动分配每个分区的文件数，而非给每个分区固定分配文件数。PySpark 2.4.7可以通过配置文件大小参数来实现，无需手动分层或计算分区比例。

具体实现 #

通过设置spark.sql.files.maxPartitionBytes参数，指定单个Parquet文件的最大字节数，Spark会自动根据各分区的数据量生成对应数量的文件，确保总文件数接近目标值，且每个文件大小相近。

步骤如下：

1. 估算总数据量，根据目标总文件数计算单个文件的合适大小（例如总数据100GB，目标10个文件则设置为10GB）。
2. 配置Spark参数，然后直接写入DataFrame。

示例代码：

# 配置单个Parquet文件的最大字节数（这里设置为10GB，可根据实际数据量调整）
spark.conf.set("spark.sql.files.maxPartitionBytes", "10737418240")  # 10*1024*1024*1024 = 10GB

# 直接写入，无需手动repartition
df.write.mode("append").partitionBy(partition_cols).saveAsTable("<db.table>")

原理说明 #

• spark.sql.files.maxPartitionBytes控制Spark写入时单个文件的最大字节数，默认值为128MB。设置该参数后，Spark会自动拆分过大的分区数据为多个文件，合并过小的分区数据为一个文件。
• 这种方式会让每个分区目录下的文件数与该分区的数据量成正比（例如数据量占80%的分区会生成80%的目标文件数），自然保证总文件数接近指定值，且所有文件大小基本一致。

补充说明 #

• 如果无法准确估算总数据量，可以先通过df.count()获取总记录数，结合单条记录的平均大小计算总数据量，再确定参数值。
• 也可以使用spark.sql.files.maxRecordsPerFile参数，通过限制单个文件的最大记录数来控制文件数，适合记录大小均匀的场景。

内容的提问来源于stack exchange，提问作者haneulkim