如何在PySpark中存储不带日期的纯时间类型数据

首先明确：Spark 目前没有原生支持 ANSI SQL 标准中的 TIME 类型（即仅存储时分秒、不关联日期的独立时间类型），你可以根据业务场景选择以下三种无字符串、无冗余无效日期的实现方式：

方案1：用整数存储当日累计秒数/毫秒数（性能最优） #

将时间转换为从当日0点开始的累计秒数（Int类型）或毫秒数（Long类型）存储，存储成本最低，时间排序、差值计算、分组聚合的效率最高，需要展示时可再转换为时分秒格式。
示例代码：

from pyspark.sql import functions as F

df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
df = (
    df
    .select(F.to_timestamp(df.t).alias('timestamp'))
    # 计算当日0点到当前时间的秒数
    .withColumn('time_seconds', 
                F.unix_timestamp(F.col('timestamp')) - F.unix_timestamp(F.to_date(F.col('timestamp')))
               )
)

如果需要用时分秒格式做展示，可通过秒数计算得到对应字段，不会额外生成冗余的字符串列。

方案2：用Struct结构存储时分秒独立字段（语义最清晰） #

如果需要经常单独访问时、分、秒某一个维度，可直接把三个字段打包成Struct类型存储，语义明确，所有字段都是原生数值类型，无字符串转换损耗。
示例代码：

from pyspark.sql import functions as F

df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
df = (
    df
    .select(F.to_timestamp(df.t).alias('timestamp'))
    .withColumn('time_col', 
                F.struct(
                    F.hour(F.col('timestamp')).alias('hour'),
                    F.minute(F.col('timestamp')).alias('minute'),
                    F.second(F.col('timestamp')).alias('second')
                )
               )
)

访问时可直接通过 time_col.hour、time_col.minute 等方式读取对应字段。

方案3：基准日期填充的Timestamp类型（兼容内置时间函数） #

如果需要大量使用Spark内置的时间运算函数，可统一用固定基准日期（比如1970-01-01）填充日期部分，所有运算逻辑忽略日期位即可，无需自己实现时间计算逻辑。
示例代码：

from pyspark.sql import functions as F

df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
df = (
    df
    .select(F.to_timestamp(df.t).alias('timestamp'))
    # 提取时分秒拼接到固定基准日期上，date_format仅为中间拼接工具，最终输出为Timestamp类型
    .withColumn('time_col', 
                F.to_timestamp(F.concat(F.lit('1970-01-01 '), F.date_format(F.col('timestamp'), 'HH:mm:ss')))
               )
)

这种方式可以直接使用所有Timestamp类型支持的函数做时间差值、时间比较等运算，仅在最终输出时忽略日期部分即可。

内容的提问来源于stack exchange，提问作者Willem