You need to enable JavaScript to run this app. Spark DataFrame字符串型毫秒时间戳列转换为带毫秒可读时间
优惠活动
大模型
产品
解决方案
定价
更多

Spark DataFrame字符串型毫秒时间戳列转换为带毫秒可读时间

Spark毫秒级epoch时间戳转保留毫秒精度可读格式实现

核心实现逻辑

之前常规转换丢失毫秒精度,本质是两个原因:一是使用的时间转换函数仅支持秒级精度,二是格式化字符串未声明毫秒输出占位符。只要调整这两个环节,就能完全匹配需要的输出格式。

可直接复用的转换代码

第一步:构造和现有结构一致的示例DataFrame

from pyspark.sql import functions as F
# 示例数据:和提供的epoch_time_seconds列结构完全匹配
df = spark.createDataFrame(
    [("1614088453671",)],
    ["epoch_time_seconds"]
)

第二步:核心转换逻辑

  • 先将字符串格式的毫秒值转为Long类型,避免类型不匹配报错
  • 使用原生支持毫秒精度的timestamp_millis函数转换为带毫秒信息的Timestamp类型,不做毫秒/秒的除法换算,从根源上保留精度
  • 使用自定义格式串完成格式化,对应输出要求的格式:dd-MM-yyyy HH:mm:ss.SSS
    • 格式串说明:dd代表两位日期、MM代表两位补零月份、yyyy代表四位年份、HH为24小时制小时、mm为分钟、ss为秒、SSS为三位毫秒值
result_df = df.withColumn(
    "human_date",
    F.date_format(
        F.timestamp_millis(F.col("epoch_time_seconds").cast("long")),
        "dd-MM-yyyy HH:mm:ss.SSS"
    )
)

第三步:查看转换结果

result_df.show(truncate=False)

输出和期望的结果完全一致:

+------------------+------------------------+
|epoch_time_seconds|human_date              |
+------------------+------------------------+
|1614088453671     |23-02-2021 13:54:13.671 |
+------------------+------------------------+

常见踩坑提醒

  • 不要直接使用from_unixtime()做核心转换:这个函数原生仅支持秒级epoch输入,就算传入浮点型秒值,在部分Spark版本中也会截断毫秒部分,输出全0的毫秒位
  • 格式化字符串如果漏写SSS占位符,就算底层Timestamp对象保留了毫秒信息,最终输出的字符串也不会带毫秒值
  • 低版本Spark(2.3及更早)如果没有内置timestamp_millis函数,可以用等价写法替换:F.to_timestamp(F.col("epoch_time_seconds").cast("double") / 1000),效果完全一致

内容的提问来源于stack exchange,提问作者Manu

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.31 19:27:03