Spark：如何用非Column类型变量为DataFrame新增列？

这个错误的核心原因很清晰：withColumn方法的第二个参数要求是Column类型，但你直接传入了原生的Array[Int]，所以编译器会抛出类型不匹配的错误。下面给你两种简单有效的解决办法：

方法一：用lit()包装整个数组 #

lit()函数的作用是将常量值转换为Spark的Column类型，它支持数组这类复杂类型。直接把你的myArray传入lit()，就能得到符合要求的Column：

import org.apache.spark.sql.functions.lit

val myList = List(1,2,3)
val myArray = Array(1,2,3)

val resultDF = myList.toDF("myList")
  .withColumn("myArray", lit(myArray))

生成的DataFrame中，myArray列的每一行都会是[1,2,3]这个数组。

方法二：用array()逐个元素构建数组列 #

如果你的数组是动态生成的，或者需要更精细地控制数组元素，你可以用array()函数，把数组的每个元素都用lit()包装后传入：

import org.apache.spark.sql.functions.{array, lit}

val myList = List(1,2,3)
val myArray = Array(1,2,3)

// 将数组元素逐个转为Column，再组合成数组列
val arrayColumn = array(myArray.map(lit(_)): _*)

val resultDF = myList.toDF("myList")
  .withColumn("myArray", arrayColumn)

这里的: _*是Scala语法，用来把数组转为可变参数传递给array()函数，最终效果和方法一完全一致。

额外说明 #

如果你的需求不是给每行都添加同一个数组，而是让myList的每个元素对应myArray的对应元素（比如第一行myList=1对应myArray的第一个元素1），那你需要先把两个集合打包成元组列表，再转成DataFrame：

val combinedList = myList.zip(myArray).toList
val resultDF = combinedList.toDF("myList", "myArrayElement")

这样生成的DataFrame会是每行对应一对元素，而不是整个数组。

内容的提问来源于stack exchange，提问作者BlueTriangles