PySpark调用dropDuplicates方法打乱DataFrame排序问题求助

1. Apache Spark的DataFrame是分布式弹性数据集，本身不保证行的存储顺序，只有显式调用orderBy触发全局排序后，在后续第一个窄依赖操作中能暂时保留顺序，一旦遇到需要shuffle的宽依赖操作，原有顺序会被直接打乱。
2. dropDuplicates的底层实现是按去重列做Hash分区或者排序分区来聚合去重，属于典型的宽依赖操作，执行过程会对全量数据重新分区、洗牌，自然不会保留之前的排序结果。
3. 另外dropDuplicates本身也不保证去重时保留先出现的行，相同重复数据中最终保留哪一条是随机的，和Spark的运行时调度、分区规则都有关系。

方案1：去重后重新排序（最推荐，性能最优） #

如果你的排序规则是可以通过列名直接复现的，直接在去重后再次显式调用orderBy即可，实现最简单，性能损耗也最小：

# 原排序规则是按sorted_col升序，去重后再次排序即可
sorted_df.dropDuplicates().orderBy("sorted_col").show()

方案2：通过窗口函数保留原顺序+去重（适合需要保留首次出现记录的场景） #

如果你的排序规则无法简单通过列复现，或者需要保证去重时保留原排序中最先出现的记录，可以通过添加行号的方式实现：

from pyspark.sql import Window
from pyspark.sql.functions import row_number

# 1. 按原有排序规则给每行添加全局唯一行号，锁定原顺序
w_order = Window.orderBy("sorted_col")
df_with_rn = sorted_df.withColumn("row_num", row_number().over(w_order))

# 2. 按去重列分区，按行号升序排序，取每个分组内第一行（也就是原顺序中最先出现的行）
# 如果是全列去重，partitionBy参数传入DataFrame的所有列名即可
w_dup = Window.partitionBy("sorted_col", "another_col").orderBy("row_num")
dedup_df = df_with_rn.withColumn("rn_dup", row_number().over(w_dup)).filter("rn_dup = 1")

# 3. 按行号排序恢复原顺序，删除辅助列
result_df = dedup_df.orderBy("row_num").drop("row_num", "rn_dup")
result_df.show()

Spark中所有宽依赖操作（包括groupBy、join、orderBy、dropDuplicates等）都会触发shuffle，原有数据顺序不会被隐式保留。任何需要固定输出顺序的场景，都要在触发action（比如show、write）之前显式调用orderBy指定排序规则，不要依赖中间转换操作的临时顺序。

内容的提问来源于stack exchange，提问作者xiexieni9527