Spark保存DataFrame为CSV的多文件生成机制、分区影响及空文件问题咨询

这是个非常常见的Spark分布式存储问题，我来一步步给你拆解清楚：

为什么Spark保存DataFrame为CSV会生成多个文件？ #

Spark是分布式计算框架，你的DataFrame数据是分散存储在集群的多个**分区（Partition）**中的。为了最大化并行写入的效率，Spark会让每个分区独立写入一个文件——这是分布式架构下的设计选择，能避免单节点写入大文件的性能瓶颈。

Spark如何确定输出CSV的文件数量？ #

输出文件的数量直接等于DataFrame最终的分区数：

• 默认情况下，文件数量等于DataFrame创建时的分区数（比如读取数据源时的分片数，或者经过转换操作后的分区数）。
• 如果你用了coalesce(numPartitions)或者repartition(numPartitions)（就像你代码里的dataframe.coalesce(numPartitions)），那么最终的文件数量就会是你指定的numPartitions（注意：coalesce只能减少分区数，不能增加，如果原分区数比你设置的numPartitions少，那文件数量还是原分区数）。

分区数量是否会影响文件数量？ #

绝对会！分区数量是决定输出文件数量的核心因素——一个分区对应一个输出文件。举几个例子：

• 如果你的DataFrame有8个分区，默认会生成8个CSV文件；
• 如果你调用coalesce(3)，那么最终会生成3个CSV文件（前提是原分区数≥3）；
• 要是你用repartition(5)，不管原分区数多少，最终都会生成5个文件（因为repartition会触发shuffle重新分配数据）。

为什么会生成空文件？ #

空文件的出现通常和分区内无数据有关，常见场景有：

1. 分区本身为空：比如你对DataFrame做了过滤操作，某些分区里的所有数据都被过滤掉了；或者读取数据源时，某些分片本身就没有数据。
2. 数据分布不均匀：当你用repartition或者其他shuffle类操作时，数据可能被分配到某些分区的量为0，导致该分区生成空文件。
3. 空DataFrame写入：如果你的DataFrame本身没有任何数据，那么每个分区都会生成一个空文件，数量等于当前分区数。
4. coalesce的特殊情况：当你用coalesce合并分区时，如果原空分区被合并到新分区，可能导致新分区还是空的（不过这种情况比较少见）。

针对你代码的小提示 #

你用了coalesce(numPartitions)来控制文件数量，这里需要注意：

• coalesce是窄依赖操作，不会触发shuffle，所以只能减少分区数，不能增加。如果想增加分区数，得用repartition。
• 如果生成了空文件，你可以先检查coalesce之前的DataFrame每个分区的数据量，比如用dataframe.rdd.glom().map(_.size).collect()来查看每个分区的行数，快速定位空分区的来源。

内容的提问来源于stack exchange，提问作者user3104078