PySpark报错AnalysisException：无法解析'df2.*'，请求排查解决

首先，这个AnalysisException: cannot resolve 'df2.*'错误的核心原因是Spark无法找到df2.*引用对应的数据源，结合你的代码来看，主要有两个诱因，我来帮你梳理并解决：

1. 重名列导致的解析混淆 #

你的df和df1都包含sid和cid列，执行左连接后，结果DataFrame会出现重名列。Spark处理show()操作时，内部解析可能出现混淆，误将重名列的引用关联到df2上，从而抛出找不到的错误。

2. 不必要的sqlContext混用（Spark 2.x+版本） #

在Spark 2.x及以后的版本中，SparkSession已经完全替代了旧的sqlContext，混用两者可能会引发隐性的解析问题。

修正后的完整代码 #

我帮你调整了代码，解决了上述两个问题：

# 假设你已经初始化了SparkSession实例spark
df = spark.createDataFrame( [(1, 1, 2,4), (1, 2, 9,5), (2, 1, 2,1), (2, 2, 1,2), (4, 1, 5,2), (4, 2, 6,3), (5, 1, 3,3), (5, 2, 8,4)], ("sid", "cid", "Cr","rank"))
df1 = spark.createDataFrame( [[1,1],[1,2],[1,3], [2,1],[2,2],[2,3],[4,1],[4,2],[4,3],[5,2],[5,3],[5,3],[3,4]], ["sid","cid"])

# 用SparkSession直接创建临时视图，无需单独使用sqlContext
df.createOrReplaceTempView("temp")
df2 = spark.sql("select sid,cid,cr,rank from temp")

# 左连接时明确指定列别名，避免重名冲突
joined = (df2.alias("df")
          .join(df1.alias("df1"), 
                (col("df.sid") == col("df1.sid")) & (col("df.cid") == col("df1.cid")), 
                "left")
          # 显式选择需要的列，给重名列添加区分别名
          .select(
              col("df.sid").alias("source_sid"),
              col("df.cid").alias("source_cid"),
              col("df.cr"),
              col("df.rank"),
              col("df1.sid").alias("match_sid"),
              col("df1.cid").alias("match_cid")
          ))

joined.show()

更简洁的替代方案（无需临时视图） #

其实你完全可以跳过创建临时视图的步骤，直接用DataFrame API完成连接，代码更简洁且不易出错：

joined = (df.alias("df")
          .join(df1.alias("df1"), 
                (col("df.sid") == col("df1.sid")) & (col("df.cid") == col("df1.cid")), 
                "left")
          .select("df.*", col("df1.sid").alias("df1_sid"), col("df1.cid").alias("df1_cid")))

joined.show()

额外提醒 #

如果你的代码中还有未贴出的部分，要检查是否不小心使用了df2.*来引用列——因为你已经将df2别名为df，正确的引用方式应该是df.*。

内容的提问来源于stack exchange，提问作者Sai