PySpark按多列重分区导出CSV文件数与唯一组合数不一致问题求解

• 核心逻辑误区：df.repartition('col1','col2','col3') 底层是对三个分区键的组合值做哈希计算，再对spark.sql.shuffle.partitions的数值取模，把同键值的行分配到对应分区。哪怕你把shuffle分区数设为4000，只要某个分区号对应的哈希范围内没有任何实际的键值组合，这个分区就是空的。Spark写文件的时候会直接跳过所有空分区，这就是最终导出的CSV文件数远少于设置值、也少于实际唯一键组合数的根本原因。
• 你之前写的groupBy统计分区数的代码，只是拿到了实际唯一键的总量，并没有改变Spark的分区分配逻辑——没有数据的空分区依然会被跳过，自然没法生成对应文件。

方案1：静态分区写入（最省事，匹配绝大多数导出需求） #

• 直接使用Spark内置的分区写入能力，不需要手动控制shuffle参数：
  1. 先统计全量的唯一键组合，拿到准确的总数量：
     unique_key_count = final_df.select('col1','col2','col3').distinct().count()
  2. 开启静态分区覆盖模式，避免动态分区的空目录、重复写入问题：
     spark.conf.set("spark.sql.sources.partitionOverwriteMode", "STATIC")
  3. 直接按三个分区键写入CSV：
     final_df.write.partitionBy('col1','col2','col3').mode("overwrite").csv(path)
• 这个方式下，每个真实存在的唯一键组合会生成独立的目录，目录下的CSV文件和唯一键数量完全对等，不会出现空文件或者多键合并到同一个文件的情况。如果需要把所有CSV文件导出为平级结构，只需要在写入完成后把嵌套目录下的文件统一取出到目标路径即可。

方案2：自定义分区器（适合需要平级文件、不想做二次目录整理的场景） #

• 如果你要求所有CSV直接输出在目标路径下，不要嵌套目录结构，就需要替换Spark默认的哈希分区逻辑：
  1. 先把所有唯一键组合拉取到 driver 端，给每个组合分配一个独立的、从0开始的分区ID，形成映射字典：
     key_list = [tuple(row) for row in final_df.select('col1','col2','col3').distinct().collect()]
key_to_partition = {key: idx for idx, key in enumerate(key_list)}
  2. 写一个自定义分区器类，继承org.apache.spark.Partitioner，重写分区分配方法，每条数据的分区号直接根据它的三个键组合从映射字典里取，保证同一个键的所有数据落在同一个分区，每个分区都有对应的数据不存在空分区。
  3. 把DataFrame转成RDD，应用自定义分区器后再转回DataFrame写入，这种方式最终输出的CSV文件数会和唯一键的数量完全一致，没有偏差。

• 不要靠设置spark.sql.shuffle.partitions参数来凑文件数：这个参数只控制shuffle阶段的并行度，不保证每个分区都有数据，Spark写文件时跳过空分区是默认行为，没法通过改这个参数实现“多少个分区就出多少个文件”的效果。
• 不要用coalesce替代repartition做数据重分区：coalesce不会触发全量shuffle，只会在本地合并相邻分区，非常容易把多个键组合合并到同一个分区里，直接导致输出文件数远少于预期。

内容的提问来源于stack exchange，提问作者AswinRajaram