如何在PySpark DataFrame中实现类似Snowflake仅提取分钟时间的效果

可以实现该功能，核心是对截断后的时间列做类型转换或格式化处理，两种常用实现方法如下：

方法1：时间截断后强转为时间类型（与Snowflake逻辑完全对齐） #

PySpark的date_trunc('minute', 时间列)默认返回带完整日期的Timestamp类型值，仅需在截断后将结果强转为TimeType，即可移除日期部分，仅保留时分秒，和Snowflake中::TIME的效果完全一致，返回结果为时间类型，支持后续时间运算。

代码示例 #

# 导入依赖
from pyspark.sql import functions as F
from pyspark.sql.types import TimeType

# 业务逻辑，假设原DataFrame名为df，时间列名为my_event_time
result_df = df.select(
    F.col("my_event_time"),
    F.date_trunc("minute", F.col("my_event_time")).cast(TimeType()).alias("minute")
)

方法2：直接格式化输出字符串类型 #

如果只需要字符串格式的分钟级时间用于展示、导出，可以直接用date_format函数一步完成，无需先做截断操作。

代码示例 #

from pyspark.sql import functions as F

result_df = df.select(
    F.col("my_event_time"),
    F.date_format(F.col("my_event_time"), "HH:mm:00").alias("minute")
)

输出效果 #

两种方法均可得到和Snowflake中一致的结果：

my_event_time                | minute
---------------------------------------
2020-08-17 13:23:49.227      | 13:23:00

内容的提问来源于stack exchange，提问作者amggg013