PySpark中如何对重复列名执行重命名及select查询操作

解决方案 #

PySpark允许DataFrame存在重复列名，但通过列名字符串执行操作时会匹配所有同名列，要单独操作指定位置的重复列，需通过列索引定位列对象实现，具体操作如下：

1. 查询指定位置的重复列

直接通过索引下标获取对应列的Column对象，即可精准查询：

# 查询索引为3的a列（索引从0开始计数）
df15.select(df15[3]).show(2)
# 同时查询索引3的a列和索引5的a列，可分别重命名区分
df15.select(df15[3].alias('a_col1'), df15[5].alias('a_col2')).show(2)

2. 重命名指定位置的重复列

最稳妥的方式是通过toDF方法全量更新列名，彻底解决列名重复问题：

old_cols = df15.columns
new_cols = old_cols.copy()
# 仅修改指定索引的列名，其余列名保持不变
new_cols[3] = 'a1'
new_cols[5] = 'a2'
# 生成列名唯一的新DataFrame
df_fixed = df15.toDF(*new_cols)
df_fixed.show(2)

后续即可直接通过唯一列名执行所有常规操作。

3. 删除指定位置的重复列

筛选出需要保留的列索引即可实现精准删除：

# 删除索引为5的a列，保留其余所有列
keep_cols = [df15[i] for i in range(len(df15.columns)) if i != 5]
df_dropped = df15.select(keep_cols)
df_dropped.show(2)

建议：只要DataFrame中存在重复列名，建议第一时间按上述方式将列名修改为唯一值，避免后续触发更多隐性异常。

内容的提问来源于stack exchange，提问作者Dominic