Spark按id重分区存储后，读写阶段的性能优化与分区识别问题

需求背景 #

处理规模超过2万亿条记录的超大数据集，该数据集由关联操作生成。后续需要基于id列执行聚合操作，获取去重的名称列表（对应Spark操作：collect_set('name')）。

问题 #

1. 保存关联结果时，执行joined_df.repartition('id').write.parquet(path)按id字段重分区，是否能获得性能收益？
2. 读取该重分区后的数据集时，Spark是否能识别其已按id分区，从而大幅提升group by id操作的性能？

解答 #

问题1：按id重分区后保存的性能收益 #

有明确的性能收益，核心价值在于提前做"预聚合准备"：

• 写入时的repartition('id')会触发一次Shuffle，把相同id的记录集中到同一个内存分区。虽然这一步会带来额外的IO和网络开销，但对于后续的聚合操作来说，相当于把全量Shuffle的成本提前分摊，避免后续聚合时再次做大规模跨节点数据传输。
• 对于2万亿条的超大规模数据，后续聚合阶段的Shuffle开销是核心性能瓶颈，提前按id分区能直接减少聚合时的数据移动量，整体来看收益远大于写入时的额外开销。

例外情况：如果关联操作本身已经让相同id的记录分布高度集中，重分区的收益会相对有限，但绝大多数关联场景下，数据分布是随机的，重分区的收益非常显著。

问题2：Spark是否能识别按id分区并优化聚合操作 #

不能直接识别，这里要区分两个关键概念：

• repartition('id')生成的是内存逻辑分区：写入Parquet时只会生成多个数据文件，但不会按id创建分区目录结构。Spark读取后只知道数据被分成了N个文件，但无法感知文件内的id分布规律，所以执行group by id时仍会触发Shuffle，把相同id的记录重新汇聚。
• 若要让Spark自动利用分区优化聚合，需要用partitionBy('id')写入（和repartition是完全不同的操作）：

  joined_df.write.partitionBy('id').parquet(path)
  

  这种方式会生成id=xxx的目录结构，Spark读取时会自动识别分区列，执行group by id时，每个分区目录下的记录都属于同一个id，直接在本地完成collect_set操作，完全不需要Shuffle，性能提升极其明显。

注意：如果id的基数极大（比如上亿级），用partitionBy('id')会生成海量小文件和目录，反而会拖慢读写性能。这种场景下更合理的做法是用repartition(n, 'id')（n设置为集群适配的并行度），既保证相同id在同一个文件分区内，又不会产生过多小文件，后续聚合的Shuffle开销也能降到最低。

内容的提问来源于stack exchange，提问作者Praveen Kumar B N