repartition(1)与coalesce(1)的区别及单输出文件场景适用疑问

核心算子差异 #

首先明确两个分区调整算子的本质区别：

• coalesce(numPartitions)：默认不触发shuffle的窄依赖算子，仅通过合并上游相邻分区实现分区数调整，不会对数据做重新分发
• repartition(numPartitions)：一定会触发shuffle的宽依赖算子，会通过shuffle将数据按哈希规则重新分发到指定数量的分区，各分区数据量相对均匀

不推荐使用coalesce(1)输出单文件的原因 #

1. 上游计算并行度被完全压制 #

如果上游计算逻辑产生的分区数远大于1，使用coalesce(1)会导致原本可以多Task并行执行的上游所有计算，被迫挤压到同一个Task中串行执行。
举个例子：如果上游有1000个分区，原本可以启动1000个Task并行计算，使用coalesce(1)后只会生成1个Task处理所有1000个分区的数据，计算效率会下降数个量级，数据量较大时极易出现Task超时、Executor内存溢出的问题。

2. 数据倾斜风险被放大 #

coalesce(1)不会对数据做任何重分发操作，只是简单合并上游所有分区的数据，如果上游分区本身存在数据量差异极大的倾斜问题，合并后的单分区会直接继承所有数据，进一步放大倾斜影响，直接导致任务失败。
而repartition(1)的上游所有Task可以并行完成计算，仅在最终shuffle阶段将计算完成的结果汇总到单个分区，上游的计算效率不受影响，出现性能问题的概率远低于coalesce(1)。

特殊适用场景 #

仅当上游分区数极少（通常少于5个）、总数据量很小的场景下，可以用coalesce(1)替代repartition(1)，此时没有shuffle开销的coalesce性能会更优。

内容的提问来源于stack exchange，提问作者nagraj036