Spark DataFrame重分区导致分区不均问题求助

这种空分区导致小文件的问题我之前在项目里也遇到过，和你一样一开始困惑——明明repartition是做全Shuffle来均匀分区，怎么会出现这么多空文件？咱们来拆解原因和解决办法：

核心原因分析 #

1. 哈希分区的天然局限
   当你调用无列指定的df.repartition(partitionCount)时，Spark会使用默认的哈希分区器对数据的哈希值进行分区。如果你的数据集中：

   • 不同键的数量远小于你设置的partitionCount，比如只有10个不同的用户ID，却设置了20个分区，那至少10个分区会没有数据；
   • 存在大量重复的高频率键，这些键会被哈希到少数几个分区，导致这些分区数据量极大，而其他分区因为没有匹配的哈希值，直接为空。

2. 空记录/无效数据的影响
   如果原DataFrame中存在大量空值行或者无意义的记录，Shuffle过程中这些数据可能被集中分配到某些分区，或者因为哈希计算的问题，导致部分分区没有有效数据，最终生成空文件（Parquet的空文件也会包含元数据，所以是KB级大小）。

解决办法 #

针对你的情况，这里有几个实用的方案：

1. 基于均匀分布的列进行分区 #

不要直接用无参数的repartition，而是指定一个数据分布均匀的列作为分区依据，比如时间戳、分布均衡的用户ID等：

df.repartition(partitionCount, "your_uniform_column")
  .write.mode(SaveMode.Overwrite)
  .parquet("/test")

这样Spark会基于指定列的哈希值分区，能最大程度保证每个分区都有数据，避免空文件。

2. 先过滤无效数据再分区 #

如果原DataFrame里存在大量空行或者无效记录，先过滤掉再执行分区操作：

df.filter("your_key_column is not null") // 过滤空值行
  .repartition(partitionCount)
  .write.mode(SaveMode.Overwrite)
  .parquet("/test")

减少无效数据对分区的干扰，降低空分区概率。

3. 合理设置分区数 #

分区数不要盲目设置，建议参考以下规则：

• 分区数≈总数据量 / 目标单分区大小（比如你预期100MB一个分区，总数据10GB就设100个分区）；
• 分区数不要远大于数据中不同键的数量，否则必然会有空分区。

4. 事后合并小文件 #

如果已经生成了大量空文件，可以重新读取数据后再重新分区写入：

spark.read.parquet("/test")
  .repartition(desired_valid_partition_count)
  .write.mode(SaveMode.Overwrite)
  .parquet("/test_merged")

这样能把空文件合并掉，生成大小均匀的文件。

额外验证建议 #

你可以先查看原DataFrame的数据分布情况，比如用df.groupBy("your_key_column").count().show()，看看是否存在数据倾斜或者键数量过少的情况，这能帮你更快定位问题根源。

内容的提问来源于stack exchange，提问作者Avishek Bhattacharya