Spark程序解析日期遇ParseException：日期含Some前缀及代码差异疑问

为什么日期字符串会带上Some(...)前缀？ #

你看到的Some(2014-05-14T14:40:25.950)是Scala Option类型的默认字符串输出——这说明你的代码直接把Option[String]类型的变量传给了日期解析函数，而不是先提取里面的实际日期字符串。

举个典型的错误场景：

val dateOpt: Option[String] = Some("2014-05-14T14:40:25.950")
// 错误：直接把Option转成字符串传给解析器
val parsedDate = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS").parse(dateOpt.toString)

解析器拿到的是Some(...)这个完整字符串，自然会抛出ParseException。

如何修复这个问题？ #

核心思路是先从Option中取出实际的日期字符串，再进行解析。这里有两种常用的处理方式：

1. 用getOrElse处理空值场景 #

如果你的数据中可能存在空日期，可以用getOrElse指定默认值（或者抛出业务异常）：

import java.text.SimpleDateFormat
import scala.util.Try

val dateFormatter = new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS")
val dateOpt: Option[String] = Some("2014-05-14T14:40:25.950")

// 提取值，为空时返回默认值（示例用null，实际建议根据业务选择合理处理）
val rawDateStr = dateOpt.getOrElse(null)
// 用Try包裹，避免解析失败直接崩溃
val parsedDate = Try(dateFormatter.parse(rawDateStr)).toOption

2. 用模式匹配精准处理分支 #

如果确定Option大概率有值，或者想明确处理None的情况，模式匹配会更清晰：

dateOpt match {
  case Some(rawDateStr) => 
    val parsedDate = dateFormatter.parse(rawDateStr)
    // 执行后续业务逻辑
  case None => 
    // 处理空日期的逻辑：比如跳过这条数据、标记为无效，或者抛出异常
}

如果是在Spark DataFrame中处理，你可以自定义UDF来处理Option类型的列：

import org.apache.spark.sql.functions._

val parseDateUdf = udf((dateOpt: Option[String]) => {
  dateOpt.map(rawDateStr => new SimpleDateFormat("yyyy-MM-dd'T'HH:mm:ss.SSS").parse(rawDateStr))
})

// 把UDF应用到目标列
val resultDF = df.withColumn("parsed_date", parseDateUdf(col("date_column")))

为什么另一段同类代码能正常运行？ #

原因很简单：那段代码正确处理了Option类型，可能是以下几种情况之一：

• 它从数据源读取的就是普通字符串列，而非Option[String]列；
• 它在解析前已经通过.get、.getOrElse或者模式匹配，提取了Option内部的实际值；
• 它使用的Spark内置API（比如某些日期函数）会自动隐式处理Option，帮你提取内部值。

举个例子，如果另一段代码是df.select(col("date_column").as[String])，明确将列转为字符串类型而非Option，自然不会出现Some(...)的问题。

内容的提问来源于stack exchange，提问作者Kumar Harsh