超100亿条Spark DataFrame毫秒数转日期的高效方法咨询

针对100亿条规模的Spark DataFrame，你当前的转换方式存在可优化空间，以下是几种更快的实现方法：

优化方案1：用整数除法替代浮点除法 #

当前代码中origdt/1000是浮点运算，对于超大规模数据集，整数除法的效率远高于浮点除法，修改后代码如下：

import pyspark.sql.functions as F
from pyspark.sql.types import TimestampType

spark.createDataFrame([[1365742800000],[1366866000000]], schema=["origdt"])
  .withColumn("newdt", F.to_date((F.col("origdt") // 1000).cast(TimestampType()))).show()

核心是用//做整数除法，避免浮点运算带来的额外开销，在100亿条数据的场景下，这个优化能明显提升处理速度。

优化方案2：直接用to_timestamp处理毫秒数（Spark 2.2+） #

Spark 2.2及以上版本的to_timestamp支持直接将毫秒数的bigint列转换为Timestamp类型，无需手动转秒，内部优化的转换逻辑效率更高：

import pyspark.sql.functions as F

spark.createDataFrame([[1365742800000],[1366866000000]], schema=["origdt"])
  .withColumn("newdt", F.to_date(F.to_timestamp(F.col("origdt")))).show()

这个方案省去了手动除法操作，代码更简洁，同时利用Spark内部的优化逻辑，性能最优。

优化方案3：适配低版本Spark（2.1及以下） #

如果你的Spark版本较低，不支持直接用to_timestamp处理毫秒数，可以用整数除法转秒后，通过from_unixtime生成日期字符串再转Date类型：

import pyspark.sql.functions as F
from pyspark.sql.types import DateType

spark.createDataFrame([[1365742800000],[1366866000000]], schema=["origdt"])
  .withColumn("newdt", F.from_unixtime(F.col("origdt") // 1000, "yyyy-MM-dd").cast(DateType())).show()

该方案避免了Timestamp类型的中间转换，在低版本Spark中能获得较好的性能。

内容的提问来源于stack exchange，提问作者ironv