Spark 3.2中按月份展开日期序列结果不符合预期的问题排查

你的核心需求是生成两个日期区间内每个月的第一天，但当前代码生成了包含月末的日期，问题出在两个关键点上：

为什么你的代码会生成月末日期？ #

如果你的代码确实如你所写（使用固定的lit("2016-02-01")和lit("2016-05-31")），理论上Spark 3.2的sequence函数应该生成2016-02-01、2016-03-01、2016-04-01、2016-05-01这四个日期（因为下一个日期2016-06-01超过了结束日期2016-05-31）。你当前得到的混合起始/月末日期，大概率是因为：

• 你实际代码中没有使用固定的lit值，而是从数据列中读取起始/结束日期，且部分行的起始日期是月末；
• 或者数据集中存在多行数据，每行生成的序列叠加后导致了这样的输出。

正确实现每月第一天的两种方法 #

方法1：直接生成每月第一天的序列

先把结束日期截断到当月第一天，确保sequence只生成到目标月份的第一天，避免多余的日期：

import org.apache.spark.sql.functions.{lit, sequence, explode, trunc, expr}
import org.apache.spark.sql.types.DataTypes

// 定义起始和结束日期
val startDate = lit("2016-02-01").cast(DataTypes.DateType)
val endDate = lit("2016-05-31").cast(DataTypes.DateType)

// 将结束日期截断为当月第一天，确保序列只到目标月的第一天
val truncatedEndDate = trunc(endDate, "month")

// 生成并展开序列
dataSetFromFile = dataSetFromFile.withColumn(
  "MONTH",
  explode(sequence(startDate, truncatedEndDate, expr("INTERVAL 1 month")))
)

方法2：对生成的日期做截断处理

如果已经生成了包含非第一天的序列，可以用trunc函数把每个日期截断到当月第一天：

dataSetFromFile = dataSetFromFile.withColumn(
  "MONTH",
  trunc(
    explode(sequence(
      lit("2016-02-01").cast(DataTypes.DateType),
      lit("2016-05-31").cast(DataTypes.DateType),
      expr("INTERVAL 1 month")
    )),
    "month"
  )
)

这两种方法都能稳定输出你预期的每月起始日结果。

内容的提问来源于stack exchange，提问作者Daksh