PySpark中如何用列名在expr()中替代直接值实现日期加法？

问题背景 #

需要将秒数列add_value的数值加到时间戳列start_date上，直接使用字面量数值时代码正常，但替换为列名时触发语法错误。

错误原因 #

Spark的INTERVAL语法仅支持固定字面量数值，不允许将列名作为间隔值的参数，因此INTERVAL add_value seconds会被判定为语法错误。

可行解决方案 #

方法1：使用timestamp_add内置函数（Spark 3.0+推荐）

timestamp_add函数直接支持接收时间戳列和秒数列作为参数，代码可读性更强：

import org.apache.spark.sql.functions._

df.withColumn("end_date", timestamp_add(col("start_date"), col("add_value")))

方法2：使用SQL表达式，通过列值乘以单位间隔实现

通过将列值与INTERVAL 1 second相乘，间接实现动态添加秒数：

import org.apache.spark.sql.functions._

df.withColumn("end_date", expr("start_date + add_value * INTERVAL 1 second"))

验证结果 #

针对示例数据：

两种方法都会得到end_date值为2022-09-05 00:00:07.395。

内容的提问来源于stack exchange，提问作者Davoud Malekahmadi