PySpark 2.4.7 执行DataFrame左连接时无法按数据框名引用列的报错排查

Spark 2.4.7 中 PySpark 的 DataFrame 不会自动把 Python 侧的变量名（比如代码里的 df、df1）注册为 SQL 解析层的表别名。哪怕你在 Python 侧用 df['cust_no'] 取列，生成的 Column 对象本身也不会绑定 df 这个 Python 变量名作为表前缀，手动拼接 f"df.{xx}" 生成的带前缀的列名字符串，本质上是 Spark 元数据里不存在的无效列名，自然会抛出 cannot resolve 'df.cust_no' given input columns 的解析错误。

• 显式给 DataFrame 设置别名（生产环境推荐，无列冲突风险）
  这是 Spark 官方支持的跨 DataFrame 列引用方式，通过 alias() 方法给两个 DataFrame 绑定明确的别名，让 Spark 的元数据能识别列前缀对应的表范围，示例代码：

  # 给两个 DataFrame 绑定和预期一致的别名
  df_alias = df.alias("df")
  df1_alias = df1.alias("df1")
  
  joined = df_alias.join(
      df1_alias,
      on=["date"],
      how="left"
  ).select(
      # 这里带 df 前缀的列引用就能正常被解析
      *[col(f"df.{xx}") for xx in df.columns],
      col("df1.daily_net_payment_sum"),
      col("df1.daily_net_payment_avg")
  )
  

  这种写法哪怕后续两个 DataFrame 出现非连接键的同名字段（比如两边都有 cust_no、pay_amount 这类同名列），也不会出现列名歧义的问题，稳定性最高。

• 无别名的简化写法（仅适合临时调试、无列名冲突的场景）
  因为你用 date 作为连接键做左连接，且最终只从 df1 取两个指定的聚合列，如果除了连接键 date 之外，df 和 df1 的其他列没有重名，完全可以去掉所有表前缀，直接引用原列名：

  joined = df.join(df1, on=["date"], how="left").select(
      *[col(xx) for xx in df.columns],
      col("daily_net_payment_sum"),
      col("daily_net_payment_avg")
  )
  

  注意：如果两个 DataFrame 存在非连接键的同名列，这种写法会直接触发列名歧义报错，不建议作为通用方案使用。

内容的提问来源于stack exchange，提问作者Fizi