为何在Databricks中两次调用monotonically_increasing_id生成相同值？

monotonically_increasing_id()的生成逻辑决定了在同一查询上下文里，多次调用它生成的列值会完全一致，具体原因如下：

• ID生成的核心规则：这个函数的64位整数ID由两部分组成——高31位是数据所在的分区ID，低33位是该行在分区内的偏移量。只要某一行的分区位置和在分区内的位置不变，生成的ID就不会改变。
• 同一查询阶段的复用逻辑：在同一个DataFrame的单次转换操作中（比如一次select或连续的withColumn调用），Spark会为每一行计算一次分区和偏移信息，所有对monotonically_increasing_id()的调用都会复用这个已计算的位置数据，所以生成的数值完全相同。
• 触发不同结果的场景：只有当数据的分区发生变化（比如执行repartition、shuffle操作），或者在不同的查询阶段（比如先保存带COL1的表，再重新读取生成COL2），行的分区或偏移量改变，两次生成的ID才会不一样。

举个实际代码例子验证：

from pyspark.sql.functions import monotonically_increasing_id

# 创建测试DataFrame
df = spark.range(5)
# 同时生成两个调用该函数的列
df = df.withColumn("COL1", monotonically_increasing_id()) \
       .withColumn("COL2", monotonically_increasing_id())
df.show()

运行后会看到COL1和COL2的每行数值完全一致。

内容的提问来源于stack exchange，提问作者learner