SQL或Pyspark - 获取每个ID在某一列上最后一次拥有不同值的时间

使用SQL和Pyspark可以使用窗口函数和分组聚合来解决这个问题。

SQL解决方法：

SELECT ID, MAX(Time) AS LastDifferentValueTime
FROM (
  SELECT ID, Value, Time, ROW_NUMBER() OVER (PARTITION BY ID, Value ORDER BY Time DESC) AS rn
  FROM your_table
) sub
WHERE rn = 1
GROUP BY ID

Pyspark解决方法：

from pyspark.sql import functions as F
from pyspark.sql.window import Window

# 创建窗口规范
window_spec = Window.partitionBy("ID", "Value").orderBy(F.desc("Time"))

# 添加行号列
df = df.withColumn("rn", F.row_number().over(window_spec))

# 获取最后一个不同值的时间
df = df.filter(df.rn == 1).groupBy("ID").agg(F.max("Time").alias("LastDifferentValueTime"))

以上代码示例假设数据表名为your_table，包含列ID、Value和Time。代码会根据ID和Value分组，并按时间倒序排列。然后，使用窗口函数和行号列来选择每个组中最后一个不同值的时间。最后，根据ID进行分组，获取每个ID的最后一个不同值的时间。