Pyspark如何将指定列的分钟数添加到拼接生成的时间戳中

你可以通过concat_ws拼接时间字符串后转时间类型，再配合内置函数实现动态分钟累加，不需要依赖固定Interval，以下是可直接运行的实现代码：

前置准备：构造示例DataFrame #

from pyspark.sql import SparkSession
from pyspark.sql.functions import concat_ws, to_timestamp, timestampadd, col, expr

# 初始化SparkSession
spark = SparkSession.builder.appName("add_dynamic_minutes").getOrCreate()

# 构造和你场景一致的测试数据
data = [
    ("2021-02-01", "12:02:05", 60),
    ("2021-02-10", "09:00:00", 30)
]
df = spark.createDataFrame(data, schema=["Date", "time", "additional_time(in mins)"])

推荐实现方法（可读性高） #

使用timestampadd函数，直接传入动态的分钟列即可实现逐行累加不同时长：

result_df = df.withColumn("Timestamp", 
    # 第一步：用concat_ws拼接日期和时间，转成标准timestamp类型
    to_timestamp(concat_ws(" ", col("Date"), col("time")), "yyyy-MM-dd HH:mm:ss")
)\
# 第二步：动态累加对应行的分钟数，三个参数分别为 时间单位、累加数值、原始时间戳
.withColumn("Timestamp", timestampadd("minute", col("additional_time(in mins)"), col("Timestamp")))\
.select("Timestamp")

# 查看结果
result_df.show(truncate=False)

可选实现方法（SQL表达式写法） #

如果习惯用SQL语法的Interval逻辑，也可以用表达式实现动态相乘：

result_df = df.withColumn("Timestamp", 
    to_timestamp(concat_ws(" ", col("Date"), col("time")), "yyyy-MM-dd HH:mm:ss")
)\
# 注意列名包含特殊字符时，需要用反引号包裹避免语法错误
.withColumn("Timestamp", expr("Timestamp + INTERVAL 1 minute * `additional_time(in mins)`"))\
.select("Timestamp")

# 查看结果
result_df.show(truncate=False)

输出结果 #

两种写法都会输出你预期的效果：

+-------------------+
|Timestamp          |
+-------------------+
|2021-02-01 13:02:05|
|2021-02-10 09:30:00|
+-------------------+

内容的提问来源于stack exchange，提问作者Padfoot123