如何使用Scala基于另一DataFrame重命名DataFrame列名？

架构老林

2026-5-15

用Scala实现基于另一个DataFrame重命名列

嘿，我帮你把PySpark的实现逻辑转换成Scala版本，完美适配你的需求！

步骤分解

从DataFrame2构建列名映射Map：先把DataFrame2转换成「原列名→新列名」的键值对Map，逻辑和PySpark的collectAsMap()一致，只是Scala里需要微调类型转换。
批量重命名DataFrame1的列：遍历DataFrame1的所有列，用映射里的新名字替换原列名，没有匹配项的话就保留原列名。

完整代码示例

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.col

object RenameColumnsFromDF {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("RenameColumnsExample")
      .master("local[*]")
      .getOrCreate()
    import spark.implicits._

    // 构建示例DataFrame1
    val df1 = Seq((1, 2, 3, 4)).toDF("A", "B", "C", "D")
    // 构建示例DataFrame2（存储列名映射关系）
    val df2 = Seq(("A", "E"), ("B", "Q"), ("C", "R"), ("D", "Z")).toDF("Col1", "Col2")

    // 从df2提取列名映射：原列名 -> 新列名
    val nameMap: Map[String, String] = df2.select("Col1", "Col2")
      .rdd.map(row => (row.getString(0), row.getString(1)))
      .collectAsMap()
      .toMap // 转换为Scala标准的不可变Map

    // 对df1的列进行批量重命名
    val renamedDF = df1.select(
      df1.columns.map(c => col(c).alias(nameMap.getOrElse(c, c))): _*
    )

    // 查看最终结果
    renamedDF.show()
  }
}

代码细节解释

构建映射Map：我们把df2的Col1作为键（原列名）、Col2作为值（新列名），通过rdd.map转换成键值对RDD，再用collectAsMap()拿到Spark的分布式Map，最后转成Scala本地Map方便后续操作。
批量重命名：df1.columns.map遍历所有列名，对每个列c，用col(c).alias(nameMap.getOrElse(c, c))生成重命名后的列对象，最后用: _*把列的序列转换成select方法需要的可变参数格式。