Spark两个DataFrame执行left join失效，仅添加persist才正常是什么原因？

• 核心是Spark Catalyst优化器的等价计划裁剪逻辑误判触发的问题：如果参与Left Join的两个DataFrame底层存在完全一致的血缘链路（例如基于同一个父DF做了完全相同的变换逻辑），且两个DF的关联列、需要输出的非关联列命名完全一致，优化器会错误判定右表的输出可以完全由左表替代，直接将右表扫描、Join操作从执行计划中裁剪，最终出现右表列实际为左表列拷贝的异常。
• 调用persist后结果恢复正常，本质是因为持久化操作切断了DataFrame的血缘关系，优化器无法识别到两个持久化后的DF同源，也就不会触发错误的裁剪逻辑。

• 构造右表时给非关联列显式设置别名，避免左右表输出列名完全重复，破坏优化器的同源判定逻辑，示例如下：

# PySpark 示例
right_df = right_df.select("join_col", col("col1").alias("right_col1"), col("col2").alias("right_col2"))

• 给右表新增无实际使用的辅助列，破坏两个DF的计划等价性，优化器就不会触发错误裁剪：

// Scala Spark 示例
val rightDF = rightDF.withColumn("dummy_col", lit(1))

• 临时验证可关闭Join消除的优化参数：如果确认是版本优化bug，可临时设置spark.sql.optimizer.joinElimination.enabled = false，注意该配置会全局关闭Join消除优化，可能影响整体任务执行效率，不建议生产环境长期使用。
• 升级Spark稳定版本：这类优化器误判的问题通常是特定Spark版本的已知bug，升级到更高的官方稳定版本即可从底层修复该问题。

内容的提问来源于stack exchange，提问作者Wentao Su