PySpark在JOIN操作内动态创建列作为连接键无法识别问题咨询

该操作完全可行，你遇到的报错是代码语法错误导致，并非PySpark不支持动态生成连接键使用。

核心错误点 #

• 示例代码括号匹配错误：df2.withColumn()后多了多余的右括号，打断了方法执行链，导致join逻辑无法识别你生成的新列
• 连接条件语法错误：等值连接的判断应该用双等号==，你写的单等号=是赋值操作，不符合语法要求

正确代码示例 #

# 链式写法，直接在join参数内动态生成新列作为连接键
result_df = df1.join(
    df2.withColumn('NewDF2Column', SOME_OPERATION),
    on = df1["key"] == df2["NewDF2Column"],
    how = "left"
)

上述写法和你提前生成临时DataFrame的写法执行逻辑完全等价，你也可以用临时变量写法做验证：

# 临时变量写法，与链式写法效果完全一致
processed_df2 = df2.withColumn('NewDF2Column', SOME_OPERATION)
result_df = df1.join(
    processed_df2,
    on = df1["key"] == processed_df2["NewDF2Column"],
    how = "left"
)

内容的提问来源于stack exchange，提问作者Tim Gottgetreu