Apache Spark按同值字段调用repartition会超过单分区大小上限吗？

1. 所有记录是否会被shuffle到同一个分区？ #

是，10GB的所有数据都会被路由到同一个分区。
Spark的哈希分区规则为：对每行数据的分区键（此处为c1列的取值）计算哈希值，再对目标分区总数取模，最终得到该行对应的下游分区编号。由于所有行的c1取值完全一致，哈希计算结果和取模结果也完全相同，因此所有数据会被分发到同一个分区。

2. 是否会超出单分区最大容量限制？ #

不会触发预设的容量拦截，但会存在内存溢出风险。
你提到的128MB是Spark读取文件时的默认分区切割阈值，仅作用于数据源读取阶段的分区拆分逻辑，不是Spark运行时单个分区的硬容量限制。
Spark在shuffle和计算阶段没有对单个分区的大小做强制限制，只要处理该分区的Executor内存足够容纳10GB数据就可以正常运行；如果Executor内存配置不足，会直接抛出OOM（内存溢出）错误。

3. 该场景下repartition($"c1")的运行机制 #

整个执行流程分为以下几步：

• 确定目标分区总数：如果调用repartition时没有主动指定分区数，Spark会默认取配置项spark.sql.shuffle.partitions的取值（默认值为200）作为本次重分区的目标分区数。
• 计算分区路由：Spark会为每个输入分区的每行数据计算路由规则：取c1列的值计算Murmur3哈希值，再对目标分区总数取模，得到该行需要发往的下游分区ID。由于所有行的c1值相同，所有行的路由结果都是同一个分区ID。
• 执行shuffle分发：所有Executor上的对应数据会按照路由结果，发送到持有目标分区的Executor节点，合并为单个10GB的分区。
• 后续计算处理：下游算子处理该分区时，需要将完整的10GB数据加载到Executor内存中计算，内存不足时就会出现任务失败。

补充优化建议：该场景属于典型的分区键数据倾斜，应避免使用唯一值列作为重分区的分区键；如果必须基于该列做分区，可以采用加盐（给c1列拼接随机后缀）的方式打散数据，避免单个分区数据量过大。

内容的提问来源于stack exchange，提问作者Arjunlal M.A