Spark为Timestamp列添加天数时保留原时分秒的内置函数实现

时分秒丢失的核心原因是date_add的内置实现逻辑：

• date_add的原生入参仅支持DateType类型，当传入TimestampType列时，Spark会隐式将时间值截断为纯日期（直接丢弃所有时分秒信息），再执行天数偏移计算。
• 后续把计算得到的Date类型结果手动cast回Timestamp类型，自然就会变成对应日期的00:00:00，和实际运行结果完全吻合。

下面两种都是Spark官方提供的内置函数方案，不需要自定义UDF，计算逻辑和你参考的UDF（直接对时间毫秒值叠加对应天数的毫秒增量）完全一致，可以完整保留原Timestamp列的时分秒信息。

方案1：通过make_interval叠加时间间隔（适配Spark 2.3及以上版本） #

核心逻辑是用make_interval生成和Flag值对应的天级时间间隔，直接叠加在原Timestamp列上，全程不对原时间做截断操作。
可直接运行的修改后代码：

import org.apache.spark.sql.functions.{col, lit, when, make_interval, to_timestamp}

// 先把字符串列转成正确的Timestamp类型
Df = Df.withColumn("startDt", to_timestamp($"startDt"))

Df.withColumn(
  "newdate",
  when(
    $"Flag".isNotNull && $"Flag" > 0 && $"Flag" <= 30 && $"startDt".isNotNull,
    // 直接在原Timestamp基础上叠加对应天数的时间间隔，不改动原有时分秒
    $"startDt" + make_interval(days = col("Flag"))
  ).otherwise(lit(null))
).show()

该方案的计算行为和自定义UDF完全等价，直接基于原时间戳的毫秒值叠加增量，完整保留原有时分秒。

方案2：使用专用timestampadd时间偏移函数（适配Spark 3.0及以上版本） #

Spark 3.0专门提供了面向Timestamp类型的偏移计算函数timestampadd，从函数设计层面就支持直接对Timestamp列做时间偏移，不会隐式截断原有时间分量。
对应实现代码：

import org.apache.spark.sql.functions.{col, lit, when, timestampadd, to_timestamp}

// 先把字符串列转成正确的Timestamp类型
Df = Df.withColumn("startDt", to_timestamp($"startDt"))

Df.withColumn(
  "newdate",
  when(
    $"Flag".isNotNull && $"Flag" > 0 && $"Flag" <= 30 && $"startDt".isNotNull,
    // 直接指定偏移单位为天，基于原Timestamp值计算偏移结果
    timestampadd("days", col("Flag"), col("startDt"))
  ).otherwise(lit(null))
).show()

注意：只要计算流程中走了date_add函数，就必然会对Timestamp类型做截断，无法通过后续cast操作找回丢失的时分秒信息，不建议继续沿用原有写法。

内容的提问来源于stack exchange，提问作者novice8989