Spark多无动作分支下公共阶段是否会重复计算？

核心结论 #

只要整个流程只有最后这一个写入的action，Spark的DAG优化器会自动复用公共主干的计算结果，不会重复执行Read、Filter、Union、Pivot这些步骤。

为什么不会重复执行？ #

• Spark是基于最终的action来构建完整执行计划的，它会自动识别多个分支共享的公共血缘逻辑，把这部分计算合并成一次执行，结果直接传递给后续所有分支使用。
• 你这个流程里所有分支最终都汇总到同一个Union再写入，整个作业只有这一个action触发执行，所以公共主干（Read→Filter→Union→Pivot）只会被执行一次，不会为每个分支重复跑一遍。

关于缓存的补充建议 #

• 生产环境不随便缓存DataFrame是对的，毕竟缓存占Executor内存，容易引发OOM或者影响其他作业。但如果你的Pivot计算量特别大，或者后续分支逻辑复杂到Spark优化器没法很好复用结果（这种情况极少），可以考虑给Pivot后的DataFrame做磁盘级缓存（df.persist(StorageLevel.DISK_ONLY)），既复用结果又不占太多内存。
• 但绝大多数场景下，单action作业的原生DAG优化已经足够，不需要额外加缓存。

验证方法 #

可以通过Spark UI确认：

• 查看Jobs页面的Stage列表，公共主干对应的Stage只会出现一次，不会每个分支都生成重复的Stage。
• 查看Task执行统计，公共部分的Task只会执行一轮，后续分支的Task都是基于前面的结果处理的。

内容的提问来源于stack exchange，提问作者xandor19