在Azure中聚合DataFrame时遭遇AMBIGUOUS_REFERENCE错误的解决方法

问题场景 #

你需要对包含year、month、loc_code、usg_type、id_code、usg列的DataFrame执行如下SQL逻辑的聚合：

select year, month, loc_code, usg_type, count(distinct id_code) as id_count, sum(usg) as traffic
group by all

对应的PySpark代码如下：

step4_df = (
    step3_df
        .groupBy("year", "month", "loc_code", "usg_type")
        .agg(
            countDistinct("id_code").alias("id_count"),
            sum("usg").alias("traffic")
        )
)

执行后触发AnalysisException: [AMBIGUOUS_REFERENCE] Reference 'id_code' is ambiguous错误，且提示关联的表与当前操作无关。

错误原因 #

这个错误的核心是你的step3_df中存在重复的id_code列。通常是之前的操作（比如表关联join）没有清理冗余列，导致DataFrame中残留了来自不同表的同名id_code列，Spark在聚合时无法确定要引用哪一个，从而抛出歧义错误。

解决方法 #

1. 先确认重复列的存在

先检查step3_df的列结构，确认是否有重复的id_code：

# 打印所有列名
print(step3_df.columns)
# 查看详细Schema，包括列的来源信息
step3_df.printSchema()

2. 针对性处理重复列

根据实际情况选择以下方案：

方案一：明确选择所需列

在聚合前先筛选出需要的列，自动过滤掉冗余的重复列：

from pyspark.sql.functions import countDistinct, sum

step4_df = (
    step3_df
        .select("year", "month", "loc_code", "usg_type", "id_code", "usg")
        .groupBy("year", "month", "loc_code", "usg_type")
        .agg(
            countDistinct("id_code").alias("id_count"),
            sum("usg").alias("traffic")
        )
)

方案二：重命名并移除重复列

如果确定有多个id_code列，先重命名需要保留的列，再删除重复的列：

from pyspark.sql.functions import countDistinct, sum

# 清理重复列，保留需要的id_code
step3_clean_df = step3_df.withColumnRenamed("id_code", "id_code_valid") \
                         .drop("id_code")  # 删除另一个重复的id_code列

step4_df = (
    step3_clean_df
        .groupBy("year", "month", "loc_code", "usg_type")
        .agg(
            countDistinct("id_code_valid").alias("id_count"),
            sum("usg").alias("traffic")
        )
)

方案三：指定列的来源表

如果step3_df是由多表关联而来，直接指定id_code的来源表别名：

from pyspark.sql.functions import countDistinct, sum, col

# 替换`your_table_alias`为实际关联时使用的表别名
step4_df = (
    step3_df
        .groupBy("year", "month", "loc_code", "usg_type")
        .agg(
            countDistinct(col("your_table_alias.id_code")).alias("id_count"),
            sum("usg").alias("traffic")
        )
)

内容的提问来源于stack exchange，提问作者Ben