Scala Spark中如何为现有DataFrame添加早x小时的纯Hour列

完全对齐你现有新增日期列的逻辑，小时维度的列可以按相同的计算链路改写，根据你对Hour列存储格式的要求，分两种常用实现：

场景1：Hour列存储0-23范围的整数小时值 #

字段直接存纯整数，不带任何日期、分秒信息，代码如下：
df.withColumn("Hour", hour(timestampadd("hour", -x, current_timestamp())))

对应和原日期实现的逻辑映射关系：

• 用current_timestamp()对应原代码的current_date()，作为计算的基准时间
• 用timestampadd("hour", -x, 基准时间)对应原代码的date_add(基准日期, -x)，完成x小时的反向偏移
• 用hour()函数从偏移后的时间戳里提取纯小时数值，对应原代码的to_date()做纯维度格式规整
  这种写法直接传数值型的x参数即可，不需要拼接时间间隔字符串，动态传参时不会出现语法问题，和现有代码的健壮性完全一致。

场景2：Hour列存储固定分秒为0的时间格式 #

如果需要存类似HH:00:00格式的时间值，不带任何日期信息，可以把提取逻辑替换为格式化输出：
df.withColumn("Hour", date_format(timestampadd("hour", -x, current_timestamp()), "HH:00:00"))
该写法输出的是24小时制的时间格式，不会混入AM/PM标识。

• 该实现会自动正确处理跨天偏移场景：比如当前时间是凌晨1点、x=3，偏移后的时间为前一天22点，提取的小时值为22，不会出现计算偏差
• 如果业务对小时计算的时区有明确要求，需要在基准时间处做时区转换，避免集群默认时区和业务时区不一致导致的小时值偏差，比如将基准时间替换为from_utc_timestamp(current_timestamp(), "Asia/Shanghai")即可

内容的提问来源于stack exchange，提问作者Debapratim Chakraborty