如何将日期参数传入DataFrame以创建新的DateTime列

你当前的写法报错的核心原因是 DataFrame.withColumn() 方法的第二个入参要求是Spark SQL的 Column 类型，直接传入Scala字符串常量无法被框架识别。

正确实现方式 #

首先需要导入Spark SQL的工具函数 lit，用它把外部字面量包装为 Column 类型即可：

import org.apache.spark.sql.functions.lit

val date = "2020/01/01"
val newDf = df.withColumn("DateTemp", lit(date))

可选优化：转换为日期类型 #

如果需要新列为日期类型而非字符串类型，可以搭配to_date函数做类型转换，指定和你输入的日期匹配的格式即可：

import org.apache.spark.sql.functions.{lit, to_date}

val date = "2020/01/01"
val newDf = df.withColumn("DateTemp", to_date(lit(date), "yyyy/MM/dd"))

补充说明 #

• lit() 是通用的字面量转Column方法，数字、布尔值、字符串等常规Scala常量要传入DataFrame生成固定值列时，都可以用该方法处理。
• 如果你的常量是数组、Map等复杂类型，可以用对应的typedLit()函数处理，避免类型转换异常。

内容的提问来源于stack exchange，提问作者user14710367