看来你在尝试把格式化后的日期字符串转换成Timestamp类型插入数据表时遇到了类型不匹配的问题，我来帮你梳理下问题根源和解决方案：

问题分析 #

你之前写的val ts = cast(unix_timestamp("$formattedDataInputDateTime", "yyyy-MM-dd'T'HH:mm:ss.SSSxx") as timestamp)之所以报错，是因为你混淆了Scala代码和Spark SQL语句的边界：

• unix_timestamp和cast是Spark SQL的函数，但你试图在Scala代码里直接调用它们并把结果当成字符串插入SQL语句，导致了类型不匹配（Scala期望Column类型，但你传入了字符串）。
• 直接在SQL字符串里拼接变量值虽然可行，但需要遵循SQL语法规则，不能直接嵌入Scala的Column操作。

解决方案 #

这里提供两种常用的正确实现方式：

方式1：在Spark SQL语句中直接使用TO_TIMESTAMP函数

你可以把格式化后的字符串直接传入SQL的TO_TIMESTAMP函数，同时注意SQL中单引号的转义（用两个单引号表示一个单引号）：

spark.sql(
  s"""INSERT INTO main.basic_metrics
     |VALUES ('metric_name', TO_TIMESTAMP('$formattedDataInputDateTime', 'yyyy-MM-dd''T''HH:mm:ss.SSSxx'),
     |'metric_type', current_timestamp, false)""".stripMargin)

方式2：使用参数化查询（推荐，更安全）

为了避免SQL注入风险，同时简化语法，建议使用Spark SQL的参数绑定功能，或者用DataFrame API来处理类型转换后插入：

用参数绑定的SQL方式

spark.sql(
  """INSERT INTO main.basic_metrics
    |VALUES (?, TO_TIMESTAMP(?, 'yyyy-MM-dd''T''HH:mm:ss.SSSxx'),
    |?, current_timestamp, ?)""".stripMargin,
  "metric_name", formattedDataInputDateTime, "metric_type", false
)

用DataFrame API（更符合Spark的惯用写法）

import org.apache.spark.sql.functions._

// 构造包含原始数据的DataFrame
val inputData = Seq(
  ("metric_name", formattedDataInputDateTime, "metric_type", current_timestamp(), false)
).toDF("metric_name_col", "timestamp_col", "metric_type_col", "create_time_col", "is_active_col")

// 将字符串列转换为Timestamp类型
val dataWithTimestamp = inputData.withColumn(
  "timestamp_col", 
  to_timestamp(col("timestamp_col"), "yyyy-MM-dd'T'HH:mm:ss.SSSxx")
)

// 插入数据表（注意根据需求设置写入模式，比如append/overwrite等）
dataWithTimestamp.write.mode("append").insertInto("main.basic_metrics")

额外优化提示 #

其实你可以直接在生成日期的时候就得到Timestamp类型，不用先转成字符串再转换，这样能减少一步操作：

val localDateTimeZoned = OffsetDateTime.of(java.time.LocalDate.parse(currentDate), java.time.LocalTime.now, ZoneOffset.UTC).truncatedTo(ChronoUnit.HOURS)
// 直接转换成Spark的Timestamp类型
val timestampValue: java.sql.Timestamp = java.sql.Timestamp.from(localDateTimeZoned.toInstant())

之后插入的时候直接用这个timestampValue即可，无需再做字符串转换。

内容的提问来源于stack exchange，提问作者samba