Databricks中PySpark去重代码执行后无返回行的原因排查

问题背景 #

DataFrame结构与数据如下：

执行以下PySpark代码去重后未返回任何行，怀疑问题与SinkModifiedOn字段相关：

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

df2 = partdf.withColumn("rn", row_number().over(Window.partitionBy("Id","CreatedOn").orderBy("SinkModifiedOn")))
df3 = df2.filter("rn = 1").drop("rn")

问题原因分析 #

• 列名大小写不匹配：DataFrame中的列名为createdon（全小写），但代码中partitionBy使用的是CreatedOn（首字母大写）。Spark默认列名区分大小写，这会导致窗口函数无法正确识别分区列，引发异常后最终无数据返回。
• 日期字段类型隐患：SinkModifiedOn当前是字符串类型，按字符串排序可能出现逻辑错误（比如按字符逐个比较而非时间先后），虽不会直接导致无结果，但会影响去重结果的准确性。

修复方案 #

方案1：修正列名大小写 #

将代码中的CreatedOn改为createdon，匹配DataFrame实际列名：

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

df2 = partdf.withColumn("rn", row_number().over(Window.partitionBy("Id","createdon").orderBy("SinkModifiedOn")))
df3 = df2.filter("rn = 1").drop("rn")

方案2：优化日期排序逻辑（可选） #

将SinkModifiedOn转换为日期时间类型后再排序，确保排序逻辑符合时间先后：

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number, to_timestamp

# 转换字符串为日期时间类型
partdf = partdf.withColumn("SinkModifiedOn", to_timestamp("SinkModifiedOn", "dd/MM/yyyy HH:mm:ss"))

# 执行去重
df2 = partdf.withColumn("rn", row_number().over(Window.partitionBy("Id","createdon").orderBy("SinkModifiedOn")))
df3 = df2.filter("rn = 1").drop("rn")

内容的提问来源于stack exchange，提问作者Patterson