Dask DataFrame执行set_index时相同索引是否会被分到多个分区？

执行set_index操作后，同一个索引值绝对不会出现在两个不同分区，这个特性是Dask shuffle逻辑的默认刚性保证，具体依据如下：

• 核心逻辑层面：set_index执行时会先基于待设置的索引列计算分位数，划分出互不重叠的分区值区间，每个分区对应唯一的区间范围，所有行会根据索引值归属的区间被分配到对应分区，相同的索引值必然落在同一个区间内，因此只会被划分到同一个分区。你测试中观察到的分区数据量失衡，正是这个规则的直接体现：当某一个索引值对应的行数较多时，承接该索引值的分区数据量就会远高于其他分区。
• 源码实现层面：核心shuffle逻辑在SimpleShuffleLayer中实现，其分区映射规则会为每个索引值计算唯一对应的目标分区ID，不存在将同一个索引值映射到多个ID的逻辑，从代码层面杜绝了同索引值拆分到多分区的可能。

该特性成立的唯一前提是使用set_index的默认配置，也就是未主动设置shuffle=False。如果你手动指定shuffle=False且输入数据未按待设置的索引列全局排序，就可能出现同索引值跨分区的情况，但这属于违反shuffle=False参数使用约定的异常场景，不在默认行为的保证范围内。

内容的提问来源于stack exchange，提问作者Dahn