对DataFrame执行orderBy()后，first函数是否具有确定性？

你的代码场景中，first函数的行为是确定性的，原因如下：

关键差异分析 #

你提到的.orderBy().groupBy()场景下first非确定性，核心原因是groupBy会触发数据shuffle，之前的全局排序会被打乱，分组内的元素顺序无法得到保证，因此first取到的是分组内随机的第一个元素。

而你的代码逻辑是：

from pyspark.sql.functions import first, col

df = spark.range(100)

(
    df
    .orderBy("id")
    .select(
        first(col("id"))
    )
    .show()
)

这里的执行逻辑和前者有本质区别：

1. spark.range(100)生成的是固定的数据集，id从0到99连续且唯一。
2. .orderBy("id")是全局排序操作，它会确保整个DataFrame的全局有序（即使是分布式存储，分区之间的范围也是有序的，分区内部同样有序）。
3. 后续的first(col("id"))是对整个有序数据集取第一个元素，由于排序后的结果是完全确定的，因此每次执行都会得到固定值0，不存在不确定性。

额外说明 #

如果你的DataFrame存在重复的排序键，或者排序后有其他可能影响数据分布的操作（比如repartition），才可能引入不确定性，但当前代码的场景完全不存在这些情况。

内容的提问来源于stack exchange，提问作者orange55