Glue3.0环境Spark DataFrame'title'重名歧义报错如何解决

Spark 3.1默认关闭SQL大小写敏感（默认配置spark.sql.caseSensitive = false），此时无法区分大小写不同的列名，因此同时存在Title和title列时，直接按名称引用会触发歧义报错。

• 方法1：临时开启大小写敏感配置后操作列
  不需要修改全局配置，仅当前会话临时生效，操作完成后可恢复默认值：

from pyspark.sql import functions as f

# 临时开启大小写敏感
spark.conf.set("spark.sql.caseSensitive", "true")

# 此时可正常区分大小写引用列
df = df.withColumn('title2', f.col("title"))
# 删除原小写title列
df = df.drop("title")
# 按需重命名title2，比如统一为小写title
df = df.withColumnRenamed("title2", "title")

# 操作完成后可执行下一行恢复默认配置
# spark.conf.set("spark.sql.caseSensitive", "false")

• 方法2：通过列索引定位目标列，避免名称歧义
  如果不想修改配置，可先获取列列表，通过索引定位到目标列操作，适合已知列顺序的场景：

# 先打印所有列名，确认小写title的索引位置（从0开始计数）
print(df.columns)
# 假设小写title在列表的第2位，索引为1
target_col = df.columns[1]
df = df.withColumn('title2', f.col(target_col))
df = df.drop(target_col)
df = df.withColumnRenamed("title2", "title")

• 方法3：统一所有列名大小写，从根源避免冲突
  最稳妥的方案，直接将所有列名统一为全小写/全大写，提前规避后续读写的列名冲突问题：

# 统一所有列名为小写，重名列自动加后缀区分
new_cols = []
title_count = 0
for col in df.columns:
    lower_col = col.lower()
    if lower_col == 'title':
        new_cols.append(f'title_{title_count}')
        title_count +=1
    else:
        new_cols.append(lower_col)
df = df.toDF(*new_cols)
# 后续按需合并或删除重复列即可

• 你之前的代码中withcoulumn为拼写错误，正确写法为withColumn
• 写入CSV前建议统一所有列名的大小写规范，避免后续读取数据时再次出现同类歧义问题

内容的提问来源于stack exchange，提问作者Mahesh Kumar