Spark中repartition()是否总会触发Shuffle？即使Action未执行？

你的部分理解是正确的，但存在两处关键误区，下面逐一拆解：

正确的认知 #

• repartition() 确实属于转换算子（Transformation），严格遵循Spark的懒加载机制：只有当触发行动算子（比如count()、show()、write()等）时，才会实际执行对应的计算逻辑，包括重分区相关操作。

需要纠正的误区 #

1. 「基于列值重分区前必须先加载所有数据」的逻辑偏差
   Spark不会提前加载全部原始数据，而是在Action触发后，按照预先构建的DAG执行计划，边读取数据边处理：读取每条记录后，直接根据指定列值（比如示例中的age）计算分区哈希，将数据发送到对应的目标分区。整个过程是流水线式执行，并非先把所有原始数据加载到内存再统一重分区。不过确实需要遍历所有数据，因为每条记录的列值都决定了它的最终分区位置。

2. 「调用repartition()就会触发Shuffle」的错误认知
   Shuffle是重分区操作的核心步骤，但它同样遵循懒加载机制。仅仅调用repartition("age")只会在Spark的执行计划中添加一个Shuffle节点，不会立即执行Shuffle。只有当后续触发Action算子时，整个DAG才会被真正执行，Shuffle操作才会实际发生。

代码示例验证 #

df = spark.createDataFrame(data, ["id", "name", "age"])
repartitioned_df = df.repartition("age")
# 此时仅构建执行计划，无任何数据读取或Shuffle操作
repartitioned_df.show()  # 触发Action，才会执行数据读取、按age分区的Shuffle，最终展示结果

内容的提问来源于stack exchange，提问作者detcle