Spark双列两次关联DataFrame报列歧义错误解决方法

两次关联同一张df_relation维度表时，没有对关联的表设置独立别名，也没有对关联后重复的同名字段做重命名处理，Spark无法识别你引用的Gare/站点API/Relation字段属于出发站关联分支还是到达站关联分支，因此抛出列歧义错误。之前的别名写法存在两个问题：一是别名挂载的位置错误，二是没有限定后续引用列的所属别名，也没有处理重复列名，因此执行失败。另外原代码中filter(df.direction == 0)的写法也存在隐患，聚合操作后生成的是新DataFrame，直接引用原始df的列容易触发列不存在的解析错误。

实现时需要遵循三个规则：给主表、两次关联的维度表分别设置独立别名；关联条件用别名.列名的形式做限定；关联后明确选择需要的字段，对来自不同关联分支的同名字段做重命名，避免后续列冲突。

import pyspark.sql.functions as F

# 先完成聚合、过滤逻辑，给主结果表设置别名main
df_agg = df.groupBy("origin", "origin_id", "arrival", "direction") \
    .agg(F.avg("time_travelled").alias("avg_time_travelled")) \
    .filter(F.col("direction") == 0) \
    .alias("main")

# 第一次关联：匹配出发站对应的维度数据，维度表别名origin_rel
# 第二次关联：匹配到达站对应的维度数据，维度表别名arrival_rel
result = df_agg \
    .join(
        df_relation.alias("origin_rel"),
        F.col("main.origin") == F.col("origin_rel.Gare"),
        "inner"
    ) \
    .join(
        df_relation.alias("arrival_rel"),
        F.col("main.arrival") == F.col("arrival_rel.Gare"),
        "inner"
    ) \
    .select(
        # 取出主表需要的字段
        F.col("main.origin"),
        F.col("main.origin_id"),
        F.col("main.arrival"),
        F.col("main.direction"),
        F.col("main.avg_time_travelled"),
        # 重命名两个关联分支的API字段，避免重名
        F.col("origin_rel.站点API编号").alias("origin_station_api"),
        F.col("arrival_rel.站点API编号").alias("arrival_station_api"),
        # 同一条线路的Relation值在出发、到达站维度行一致，从任意一个关联分支取即可
        F.col("origin_rel.Relation")
    ) \
    .orderBy("Relation")

result.show()

• 不建议通过设置spark.sql.analyzer.failAmbiguousSelfJoin=false关闭歧义检查，这种方式只是屏蔽报错，不会解决列引用逻辑错误的问题，很容易导致最终匹配结果不符合预期
• 所有列引用尽量用F.col("别名.列名")的形式，不要跨步骤引用旧DataFrame的列，避免出现列解析异常
• 如果你的df_relation表中同一个Gare存在多条匹配记录，内关联会出现数据膨胀，需要提前对df_relation做去重处理，保证每个站点名称只对应一条维度记录

内容的提问来源于stack exchange，提问作者NoobZik