PySpark中如何将Interval类型转换为指定格式的字符串？

针对interval day to second类型列，要将默认格式（如INTERVAL '0 01:02:10.237' DAY TO SECOND）转为01:02:10.237格式的字符串，有两种可靠实现方式：

方法一：基于正则表达式提取（简单直接） #

利用Spark的正则函数提取时分秒部分，适用于已知interval转字符串格式的场景：

import org.apache.spark.sql.functions._

// 假设目标列名为interval_col
val formattedDf = df.withColumn(
    "formatted_interval",
    regexp_extract(
        col("interval_col").cast("string"),
        "'\\d+ (\\d{2}:\\d{2}:\\d{2}\\.\\d+)'", // 匹配引号内空格后的时分秒毫秒部分
        1 // 提取第一个捕获组的内容
    )
)

如果你的Spark版本中，interval转字符串后格式为0 days 01:02:10.237，可以调整正则为(\\d{2}:\\d{2}:\\d{2}\\.\\d+)。

方法二：拆分Interval组件拼接（更稳定） #

通过Spark内置函数提取interval的小时、分钟、秒（含毫秒），手动拼接成目标格式，不依赖字符串格式，兼容性更强：

import org.apache.spark.sql.functions._

val formattedDf = df.withColumn(
    "formatted_interval",
    when(
        col("interval_col").isNull,
        lit(null) // 保留原列的nullable特性
    ).otherwise(
        concat(
            lpad(hour(col("interval_col")).cast("string"), 2, "0"), // 小时补零到两位
            lit(":"),
            lpad(minute(col("interval_col")).cast("string"), 2, "0"), // 分钟补零到两位
            lit(":"),
            format_number(second(col("interval_col")), 3) // 秒保留三位小数
        )
    )
)

注意事项 #

• 方法二通过when显式处理null值，确保结果列的nullable属性与原列一致；
• format_number会自动补零，比如秒为10.2时会转为10.200，若不需要末尾的零，可以再用regexp_replace去除，如regexp_replace(format_number(...), "\\.0+$", "")；
• 如果interval包含天数（如INTERVAL '2 03:04:05.123' DAY TO SECOND），方法二会自动忽略天数（只提取小时部分），若需要包含天数转换为小时，可以先计算总小时：hour(col("interval_col")) + day(col("interval_col")) * 24，再补零拼接。

内容的提问来源于stack exchange，提问作者WilliamEllisWebb