使用monotonically_increasing_id后DataFrame关联ID不一致问题咨询

这种情况不是异常，完全是monotonically_increasing_id的设计特性导致的。

为什么会出现ID不一致 #

monotonically_increasing_id的生成逻辑是基于DataFrame的分区：

• 每个分区会分配一个唯一的前缀（由分区ID决定）
• 分区内的行ID从0开始递增，最终的ID是前缀+分区内偏移量
• 当DataFrame发生重分区操作（比如保存后重新读取、join操作触发的 shuffle 重分区），分区结构改变，新生成的ID前缀就会和之前不同，导致最终ID不一致。而因为前缀和分区ID强相关，所以错误ID会集中在同一数值范围，前几位数字相同，和你遇到的情况完全匹配。

为什么zipWithIndex能解决问题 #

zipWithIndex是基于数据行的全局顺序生成连续ID：

• 它会按DataFrame原有顺序进行全局排序后，给每一行分配从0开始的连续ID
• 只要数据行的顺序不变，不管分区怎么变化，生成的ID都是稳定的，所以能避免关联时ID不一致的问题。不过要注意，zipWithIndex需要触发全局 shuffle，大数据量场景下性能会比monotonically_increasing_id差一些。

结合你的场景分析 #

你给的示例中，当你给DataFrame a生成ID并保存后，执行b.join(a,"name")时，a可能因为join操作的 shuffle 被重新分区，此时如果a在join过程中重新生成ID（或保存时的ID因分区变化读取后不一致），就会出现ID和原数据不匹配的情况。改用zipWithIndex后，ID基于行顺序生成，不受分区影响，自然就解决了问题。

内容的提问来源于stack exchange，提问作者Tregear Zhang