如何基于Map键值对更新Spark DataFrame的列名？

针对你的需求，这里提供两种实用的批量重命名列的方法，覆盖Scala和Python两种Spark常用开发语言：

Scala 实现 #

// 定义列名映射Map
val colMap = Map("col1" -> "id", "col2" -> "name", "col3" -> "year")

// 方法1：遍历Map迭代重命名（逻辑直观）
val renamedDf1 = colMap.foldLeft(df) { (tempDf, entry) =>
  tempDf.withColumnRenamed(entry._1, entry._2)
}

// 方法2：一次性select重命名（性能更优）
val renamedDf2 = df.select(colMap.map { case (oldCol, newCol) =>
  col(oldCol).alias(newCol)
}: _*)

// 查看结果
renamedDf2.show()

Python 实现 #

# 定义列名映射字典
col_map = {"col1": "id", "col2": "name", "col3": "year"}

# 方法1：循环调用重命名
renamed_df1 = df
for old_col, new_col in col_map.items():
    renamed_df1 = renamed_df1.withColumnRenamed(old_col, new_col)

# 方法2：批量select重命名
from pyspark.sql.functions import col
renamed_df2 = df.select([col(old_col).alias(new_col) for old_col, new_col in col_map.items()])

# 查看结果
renamed_df2.show()

方法说明 #

• 方法1通过迭代调用withColumnRenamed实现，逻辑简单易懂，适合列数量较少的场景。
• 方法2通过一次select操作完成所有列的重命名，避免多次DataFrame转换，性能更优，适合列较多的场景。

内容的提问来源于stack exchange，提问作者Arvinth kumar