如何用DataFrame的withColumn操作将zip追加至loc列（保留列名）

这需求太好办了，用withColumn结合Spark SQL的内置函数就能轻松实现，完全不用碰RDD。根据你的loc列数据类型，分两种常见场景给你演示：

场景1：loc是字符串类型（最常见） #

如果loc是普通字符串，我们可以用concat函数把原loc、可选分隔符和zip拼接起来，直接覆盖原loc列：

首先导入需要的函数：

import org.apache.spark.sql.functions.{col, concat, lit}

模拟你的现有DataFrame：

// 假设原始数据包含loc（城市名）和zip（邮编）两列
val originalDf = spark.createDataFrame(Seq(
  ("Chicago", "60601"),
  ("Houston", "77001")
)).toDF("loc", "zip")

执行追加操作：

// 用concat拼接原loc、分隔符（这里加了", "）和zip，覆盖原loc列
val updatedDf = originalDf.withColumn("loc", concat(col("loc"), lit(", "), col("zip")))

查看结果：

updatedDf.show()
// 输出：
// +----------------+-----+
// |             loc|  zip|
// +----------------+-----+
// | Chicago, 60601 |60601|
// | Houston, 77001 |77001|
// +----------------+-----+

如果不需要分隔符，直接去掉lit(", ")即可：concat(col("loc"), col("zip"))。

场景2：loc是数组类型 #

如果loc是数组（比如存储了多级地址），我们可以用array_append函数把zip作为新元素追加到数组末尾：

导入函数：

import org.apache.spark.sql.functions.array_append

模拟数组类型的DataFrame：

val arrayDf = spark.createDataFrame(Seq(
  (Array("Seattle", "WA"), "98101"),
  (Array("Miami", "FL"), "33101")
)).toDF("loc", "zip")

执行追加：

val updatedArrayDf = arrayDf.withColumn("loc", array_append(col("loc"), col("zip")))

查看结果：

updatedArrayDf.show(false)
// 输出：
// +----------------------+-----+
// |loc                   |zip  |
// +----------------------+-----+
// |[Seattle, WA, 98101]  |98101|
// |[Miami, FL, 33101]    |33101|
// +----------------------+-----+

核心逻辑很简单：withColumn的第一个参数指定要修改的列名（这里保持loc不变），第二个参数定义新的列值——不管是字符串拼接还是数组追加，都是基于原列和zip列计算得到的新值。

内容的提问来源于stack exchange，提问作者Vamshi Krishna