PySpark如何将DataFrame单列时间拆分为开始时间、结束时间两列

不要用自连接，直接用窗口函数的相邻行取值实现，单轮窗口计算即可完成，性能远高于自连接方案。

实现逻辑 #

同一个m_id下的time按时间先后排序后，当前行的time就是区间开始时间，同组下一行的time就是对应区间的结束时间，取到值后过滤掉没有配对结束时间的最后一条尾行即可。

完整代码 #

1. 导入依赖

from pyspark.sql import Window
import pyspark.sql.functions as F

2. 时间格式预处理（如果time是字符串类型必须做，避免排序错误）

# 替换成你实际的time列格式，比如"yyyy/MM/dd HH:mm"
df = df.withColumn("time", F.to_timestamp("time", "你的实际时间格式串"))

3. 窗口计算生成结果

# 定义窗口规则：按m_id分组，组内按time升序排列
win = Window.partitionBy("m_id").orderBy("time")

result_df = df.withColumn("end time", F.lead("time").over(win)) \
              .withColumnRenamed("time", "start time") \
              # 过滤没有配对结束时间的尾行，不需要可以删掉这行
              .filter(F.col("end time").isNotNull())

性能说明 #

自连接方案会产生大量冗余中间数据，shuffle开销极高，数据量超过百万级后执行延迟会非常明显。窗口函数方案仅需按m_id做一次分区排序，组内偏移取值是O(n)复杂度，没有额外的关联开销，数据量越大性能优势越明显，同时代码逻辑更简洁，不需要维护复杂的关联条件。

内容的提问来源于stack exchange，提问作者Bha123