Spark SQL优化器能否消除不必要的左连接？

我发现Spark SQL似乎无法执行Left Join消除优化，以下是我的测试代码：

spark.sql("create temp view v1 as select t1.id as id, t2.id as id2, name, score, age from t1 left join t2 on t1.id = t2.id")
val result = spark.sql("select name from v1");
result.explain("extended")

在此示例中，该Left Join理论上可被消除（因为最终查询只用到t1表的name字段），但查询计划显示Join仍存在，特此咨询Spark SQL优化器是否支持消除此类不必要的Join。

附上DataFrame explain输出结果：

== Optimized Logical Plan ==
Project [name#4]
+- Join LeftOuter, (id#3L = id#11L)
   :- Project [id#3L, name#4]
   :  +- LogicalRDD [id#3L, name#4, score#5], false
   +- Project [id#11L]
      +- Filter isnotnull(id#11L)
         +- LogicalRDD [id#11L, age#12L], false

== Physical Plan ==
*(5) Project [name#4]
+- SortMergeJoin [id#3L], [id#11L], LeftOuter
   :- *(2) Sort [id#3L ASC NULLS FIRST], false, 0
   :  +- Exchange hashpartitioning(id#3L, 200), ENSURE_REQUIREMENTS, [id=#44]
   :     +- *(1) Project [id#3L, name#4]
   :        +- *(1) Scan ExistingRDD[id#3L,name#4,score#5]
   +- *(4) Sort [id#11L ASC NULLS FIRST], false, 0
      +- Exchange hashpartitioning(id#11L, 200), ENSURE_REQUIREMENTS, [id=#49]
         +- *(3) Project [id#11L]
            +- *(3) Filter isnotnull(id#11L)
               +- *(3) Scan ExistingRDD[id#11L,age#12L]

关于Spark SQL Left Join消除优化的说明 #

Spark SQL优化器默认不支持直接消除此类Left Join，核心原因和现有优化逻辑的局限性有关：

1. Left Join的语义特性是保留左表所有记录，即使右表无匹配项。虽然你的场景中最终查询只用到左表字段，但Spark Catalyst的默认优化规则未覆盖这种特定场景的Join消除——当前Join Elimination规则主要针对Inner Join、部分Right/Full Join场景，对Left Join的消除判断逻辑更严格，未包含仅引用左表字段的情况。
2. 视图定义中包含了右表字段（id2、age），优化器解析视图时，不会自动推导后续查询是否依赖这些字段，因此会保留视图定义中的Join逻辑。

解决办法 #

• 直接改写查询：绕开视图，直接从左表查询所需字段，彻底避免不必要的Join：

  val result = spark.sql("select name from t1");
  

• 自定义优化规则：如果需要复用视图且必须保留原有结构，可以基于Spark Catalyst框架扩展自定义优化规则，添加针对此类Left Join消除的逻辑，但需要熟悉Spark优化器的工作机制。

内容的提问来源于stack exchange，提问作者zjffdu