Databricks使用PySpark将纳秒值转datetime遇ps属性报错求解

在Databricks平台复现Python数据处理流程时，需要将DataFrame中存储纳秒级时间数据的time列转换为datetime类型。
常规pandas环境下的转换逻辑可正常运行，能将纳秒值1642778070000000000正确转换为2022-01-21 15:14:30，对应代码如下：

import pandas as pd

# 将纳秒级时间字段转换为datetime类型
df["time"] = pd.to_datetime(df["time"], unit='ns')

由于待处理数据集规模过大，无法使用普通Python流程处理，因此改用PySpark实现等效逻辑。初次编写的代码运行失败，返回报错'DataFrame' object has no attribute 'ps'，错误代码如下：

from pyspark import pandas as ps
df = df.ps.to_datetime(df.columns[2], unit='ns') # time列位于第3列，对应索引2

• 调用语法错误：ps是导入的pyspark.pandas模块别名，不是Spark原生DataFrame的内置属性，df.ps的调用方式不符合PySpark语法规则。
• 精度适配提示：Spark原生时间戳默认采用微秒级精度，直接套用秒/毫秒级转换逻辑会出现时间计算偏差，处理纳秒数据时必须明确指定精度单位。

方案1：Spark原生函数实现（优先推荐，适配大规模数据集） #

Spark 3.0及以上版本内置的to_timestamp函数原生支持纳秒精度参数，不需要额外做单位换算，性能最优，代码如下：

from pyspark.sql import functions as F

# 已知列名为time时直接使用该写法
df = df.withColumn("time", F.to_timestamp("time", "ns"))

# 按列索引取第3列（索引从0开始，对应位置2）时使用该写法
# time_col = df.columns[2]
# df = df.withColumn(time_col, F.to_timestamp(time_col, "ns"))

如果使用的Spark版本低于3.0，不支持直接传入纳秒单位参数，可以先将纳秒值换算为秒级浮点数再做转换：

from pyspark.sql import functions as F

df = df.withColumn("time", F.to_timestamp(F.col("time") / 1e9))

方案2：pyspark.pandas实现（适配pandas使用习惯） #

如果更熟悉pandas语法，可以先将Spark DataFrame转换为pyspark.pandas DataFrame，再使用和pandas几乎一致的接口完成转换：

import pyspark.pandas as ps

# 转换为pyspark.pandas DataFrame
psdf = df.to_pandas_on_spark()
# 执行时间转换
time_col = psdf.columns[2]
psdf[time_col] = ps.to_datetime(psdf[time_col], unit="ns")
# 如需转回Spark DataFrame，执行下行代码即可
# df = psdf.to_spark()

注意：该方案在TB级超大规模数据集上的性能略低于Spark原生函数实现，生产环境优先选择方案1。

内容的提问来源于stack exchange，提问作者JGW