PySpark列引用歧义问题求助：查询ACTION列触发AnalysisException

这个错误很常见，本质是你的df_new DataFrame里存在两个同名但内部标识符不同的ACTION列（就是错误提示里的ACTION#22058和ACTION#22334），Spark没法判断你要选哪一个，所以抛出了歧义异常。这种情况大多发生在join两个都包含ACTION列的DataFrame、重复添加同名列，或者union时结构重复的场景。

下面给你几个实用的解决办法：

1. 先明确重复列的来源 #

首先可以打印出DataFrame的完整列细节，确认两个ACTION列的具体信息：

for col in df_new.schema:
    print(f"列名: {col.name}, 类型: {col.dataType}, 内部ID: {col.exprId}")

这样你能清楚看到两个ACTION列的内部标识和属性，方便后续选择或删除。

2. 直接指定要选择的列（临时应急方案） #

如果你确定要选其中某一个，可以通过内部ID或者列位置来选择：

• 用内部ID（注意：这个ID每次运行可能变化，不适合长期代码）：

from pyspark.sql.functions import col
df_new.select(col("ACTION#22058")).show()

• 用列位置（比如第一个ACTION是第0列）：

df_new.select(df_new.columns[0]).show()

3. 重命名重复列（推荐，更稳定） #

如果是join导致的重复，最好在join前就给其中一方的列重命名，从根源避免歧义：

# 假设df_new是df1和df2 join来的，先给其中一个的ACTION重命名
df1_renamed = df1.withColumnRenamed("ACTION", "ACTION_source")
df_new = df1_renamed.join(df2, df1_renamed.ACTION_source == df2.ACTION, "inner")
# 之后就可以安全选择其中一个列
df_new.select("ACTION_source").show()

如果已经生成了有重复列的df_new，可以直接重命名其中一个：

# 比如把第二个ACTION重命名为ACTION_dup
df_new = df_new.withColumnRenamed("ACTION#22334", "ACTION_dup")
df_new.select("ACTION").show()

4. 保留唯一列，删除重复项 #

如果你只需要保留一个ACTION列，可以遍历列名，只保留第一次出现的列：

unique_columns = []
seen_columns = set()
for col_name in df_new.columns:
    if col_name not in seen_columns:
        seen_columns.add(col_name)
        unique_columns.append(col_name)
# 生成只含唯一列的新DataFrame
df_clean = df_new.select(unique_columns)
df_clean.select("ACTION").show()

预防建议 #

后续处理DataFrame合并（join/union）时，尽量提前检查列名是否重复，必要时重命名，避免出现这种歧义问题。比如join时如果不需要保留两边的同名列，可以用drop提前删除其中一方的列，或者用select只保留需要的列再进行合并。

内容的提问来源于stack exchange，提问作者Sun