如何在PySpark中为Timestamp列添加可变小时数生成新列

非UDF推荐方案（无需自定义函数） #

方法1：利用小时数乘以单位间隔 #

直接将hours列的值与1小时的间隔相乘，再和t_create相加，这是最简洁的写法：

from pyspark.sql.functions import expr, col

# 加载数据后执行
df = df.withColumn("t_update", col("t_create") + col("hours") * expr("INTERVAL 1 HOUR"))

方法2：使用make_interval函数（Spark 3.0+支持） #

Spark 3.0及以上版本提供了make_interval函数，可以直接传入列作为参数构造间隔：

from pyspark.sql.functions import make_interval, col

df = df.withColumn("t_update", col("t_create") + make_interval(hours=col("hours")))

你之前写法失效的原因 #

• 用f-string拼接df.hours或col(df.hours)时，实际是把Column对象转成了字符串（比如Column<b'hours'>），而非引用列的实际数值，导致表达式语法错误。
• 你尝试的UDF返回的是字符串格式的间隔表达式，但expr无法直接解析UDF输出的列值，因此触发TypeError: Column is not iterable错误。

正确的UDF写法 #

如果一定要用UDF，需直接在函数内处理Timestamp和小时数的计算，返回Timestamp类型结果：

from pyspark.sql.functions import udf
from pyspark.sql.types import TimestampType
from datetime import timedelta

@udf(returnType=TimestampType())
def add_hours(t_create, hours):
    # 处理空值情况
    if t_create is None or hours is None:
        return None
    return t_create + timedelta(hours=hours)

# 调用UDF时传入两个列
df = df.withColumn("t_update", add_hours(col("t_create"), col("hours")))

内容的提问来源于stack exchange，提问作者frankzappa