Spark DataFrame字符串型毫秒时间戳列转换为带毫秒可读时间
Spark毫秒级epoch时间戳转保留毫秒精度可读格式实现
核心实现逻辑
之前常规转换丢失毫秒精度,本质是两个原因:一是使用的时间转换函数仅支持秒级精度,二是格式化字符串未声明毫秒输出占位符。只要调整这两个环节,就能完全匹配需要的输出格式。
可直接复用的转换代码
第一步:构造和现有结构一致的示例DataFrame
from pyspark.sql import functions as F # 示例数据:和提供的epoch_time_seconds列结构完全匹配 df = spark.createDataFrame( [("1614088453671",)], ["epoch_time_seconds"] )
第二步:核心转换逻辑
- 先将字符串格式的毫秒值转为Long类型,避免类型不匹配报错
- 使用原生支持毫秒精度的
timestamp_millis函数转换为带毫秒信息的Timestamp类型,不做毫秒/秒的除法换算,从根源上保留精度 - 使用自定义格式串完成格式化,对应输出要求的格式:
dd-MM-yyyy HH:mm:ss.SSS- 格式串说明:
dd代表两位日期、MM代表两位补零月份、yyyy代表四位年份、HH为24小时制小时、mm为分钟、ss为秒、SSS为三位毫秒值
- 格式串说明:
result_df = df.withColumn( "human_date", F.date_format( F.timestamp_millis(F.col("epoch_time_seconds").cast("long")), "dd-MM-yyyy HH:mm:ss.SSS" ) )
第三步:查看转换结果
result_df.show(truncate=False)
输出和期望的结果完全一致:
+------------------+------------------------+ |epoch_time_seconds|human_date | +------------------+------------------------+ |1614088453671 |23-02-2021 13:54:13.671 | +------------------+------------------------+
常见踩坑提醒
- 不要直接使用
from_unixtime()做核心转换:这个函数原生仅支持秒级epoch输入,就算传入浮点型秒值,在部分Spark版本中也会截断毫秒部分,输出全0的毫秒位 - 格式化字符串如果漏写
SSS占位符,就算底层Timestamp对象保留了毫秒信息,最终输出的字符串也不会带毫秒值 - 低版本Spark(2.3及更早)如果没有内置
timestamp_millis函数,可以用等价写法替换:F.to_timestamp(F.col("epoch_time_seconds").cast("double") / 1000),效果完全一致
内容的提问来源于stack exchange,提问作者Manu
相关产品推荐
相关产品推荐

