AWS Glue v4.0多条件连接DataFrame遇歧义列错误求助

这个错误的核心原因是你在Join条件里直接引用了原DataFrame对象（p_df、c_map），而不是你定义的别名（p、m）。Glue v4.0基于Spark 3.x，Spark 3.x对列引用的解析规则比Glue v2.0依赖的Spark 2.x更严格，当你给DataFrame起别名后，必须通过别名来指定列的来源，否则Spark无法明确列归属，就会抛出歧义错误。

修改后的代码如下：

# 第一次Join：所有列引用使用别名p和m
p_df = p_df.alias("p").join(c_map.alias("m"), 
                           (F.col("p.source") == F.col("m.id")) & 
                           (F.col("p.p_code") == F.col("m.p_code")) & 
                           (F.col("m.id") == 1), 
                           "left").select(
                               "p.*", 
                               F.when(F.col("m.value").isNull(), F.lit('NA')).otherwise(F.col("m.value")).alias("c_type")
                           )

# 第二次Join：同样使用别名p和m，避免歧义
p_df = p_df.alias("p").join(c_map.alias("m"), 
                           (F.col("p.d_type") == F.col("m.id")) & 
                           (F.col("p.p_code") == F.col("m.p_code")) & 
                           (F.col("m.id") == 2), 
                           "left").select(
                               "p.*", 
                               F.when(F.col("m.value").isNull(), F.lit('NA')).otherwise(F.col("m.value")).alias("c_cat")
                           )

关键修改点： #

• 所有列引用从p_df.source、c_map.id改成F.col("p.source")、F.col("m.id")，明确指定列来自哪个别名的DataFrame
• 确保select语句中引用m.value时也通过别名指定，避免和可能存在的其他同名列冲突

你之前尝试删除列没用，是因为问题根本不是重复列，而是列引用的归属不明确，Spark无法确定你要调用的value列来自哪个DataFrame实例。

内容的提问来源于stack exchange，提问作者mpunit30