Spark 2.2（Scala）：如何将Weblog日期解析为DataFrame的DateType？

先给你明确结论：你不能直接把这个包含时间和时区偏移的字符串映射为DateType——因为DateType仅存储年-月-日的日期信息，而你的日志日期格式25/Oct/2011:01:41:00 -0500还包含了时分秒和时区偏移。不过通过简单的转换步骤，完全可以得到DateType列。

方法1：先解析为TimestampType，再转DateType #

这是最稳妥的方式，先把完整的日期时间字符串解析为TimestampType（包含时间和时区信息），再提取日期部分转为DateType：

import org.apache.spark.sql.functions._
import java.util.Locale

// 关键：设置默认Locale为英文，避免月份缩写（Oct）在非英文环境下解析失败
Locale.setDefault(Locale.ENGLISH)

// 假设你的DataFrame有一列名为log_date_str，存储原始日志日期字符串
val resultDF = yourDF
  // 第一步：解析为TimestampType
  .withColumn("log_timestamp", to_timestamp(col("log_date_str"), "dd/MMM/yyyy:HH:mm:ss Z"))
  // 第二步：从Timestamp提取日期部分转为DateType
  .withColumn("log_date", to_date(col("log_timestamp")))

方法2：直接用to_date函数解析（简化版） #

如果你不需要保留完整的时间戳，也可以直接用to_date函数配合正确的格式字符串一步到位，Spark会自动忽略时间部分并根据时区偏移计算对应的日期：

import org.apache.spark.sql.functions._
import java.util.Locale

Locale.setDefault(Locale.ENGLISH)

val resultDF = yourDF.withColumn(
  "log_date",
  to_date(col("log_date_str"), "dd/MMM/yyyy:HH:mm:ss Z")
)

关键注意事项 #

• 格式字符串"dd/MMM/yyyy:HH:mm:ss Z"完全匹配你的日志格式：
  • dd：两位日期
  • MMM：英文月份缩写（如Oct）
  • yyyy：四位年份
  • HH:mm:ss：24小时制的时分秒
  • Z：时区偏移（如-0500）
• 必须确保Locale为英文：如果你的Spark运行环境默认Locale不是英文，MMM会无法识别Oct这类缩写，导致解析失败，所以显式设置Locale.ENGLISH很重要。
• Spark 2.2中to_timestamp和to_date函数已经支持自定义格式，无需手动编写UDF来解析日期。

内容的提问来源于stack exchange，提问作者Naman Agarwal