Spark Coalesce传入大于现有分区数的参数时的运行行为疑问

coalesce的核心运行规则为：默认关闭shuffle，仅能在不跨节点 shuffle 数据的前提下调整分区数量，这是理解以下结论的前提。
针对你的两个疑问解答如下：

• 不会生成24个分区。从12个分区扩容到24个，需要将原有分区的数据拆分、跨节点分发才能实现，这个过程必须触发shuffle，而默认配置的coalesce不支持shuffle操作，因此无法完成分区数扩容。
• 也不会出现随机减少分区、最终分区数小于12的情况。当你传入的目标分区数大于当前DataFrame的实际分区数时，coalesce不会做任何分区调整操作，最终保留的分区数和原来一致，也就是12个。

额外补充：如果你确实需要将分区数从12扩容到24，应该使用repartition(24)方法，该算子会主动触发shuffle，支持将分区数调整到大于原有数量的数值。

内容的提问来源于stack exchange，提问作者J Learner