Spark中两个大数据量DataFrame如何实现配对分区且同序号分区同节点部署

针对两个或多个超大数据量的DataFrame配对分区需求，核心是保证所有DataFrame使用完全一致的分区逻辑，结合计算引擎默认的资源调度本地性策略，即可实现同号分区落到同一节点、资源不足时按顺序轮询调度的效果，具体实现步骤如下：

1. 统一分区规则配置 #

首先确定你需要的总分区数N（示例中的5），所有待配对的DataFrame都使用相同的分区键、分区算法、分区数执行重分区操作：

• 如果后续要做关联、join类操作，直接以关联键作为分区键，使用默认Hash分区规则对所有DataFrame执行repartition(N, 关联键)操作即可，相同键的哈希值对N取模结果完全一致，就能保证同编号的分区数据严格匹配。
• 如果没有固定关联键、仅需要按顺序配对分区，可以给每个DataFrame新增一个自增序列列，用自增列 % N作为统一分区键，所有DataFrame按相同规则生成该列后再重分区即可。
  代码示例（Spark）：

from pyspark.sql.functions import col

N = 5 # 设定总分区数
# 两个DataFrame用相同规则重分区
dfA_repart = df_A.repartition(N, col("join_key"))
dfB_repart = df_B.repartition(N, col("join_key"))

2. 关闭自适应分区调整避免分区规则被破坏 #

配置参数spark.sql.adaptive.enabled=false、spark.sql.adaptive.coalescePartitions.enabled=false，防止引擎的自适应执行机制自动合并或拆分分区，破坏预设的分区编号对应关系。

3. 依赖默认调度逻辑实现分区共置与轮询调度 #

你要求的同号分区落到同一机器、资源不足时按顺序调度的效果，由分布式计算引擎的默认任务调度逻辑天然支持：

• 同编号的两个分区的计算任务会被标记为相同的位置偏好，集群有足够节点时，调度器会自动将两个任务分配到同一节点执行，数据也会落到对应节点存储。
• 当集群节点数少于总分区数时，调度器会按节点空闲顺序轮询分配任务，空闲的节点会优先承接下一组同编号的分区任务，完全符合3台节点跑5组分区的调度逻辑。

4. 多DataFrame场景扩展 #

如果是3个及以上的超大数据量DataFrame需要配对分区，只需要保证所有DataFrame都使用上述完全相同的分区规则、相同分区数重分区即可，调度逻辑和两个DataFrame的场景完全一致。

注意：该方案仅适用于所有DataFrame数据量都很大、无法使用广播优化的场景，如果存在小DataFrame还是优先用广播关联，避免不必要的shuffle开销。

内容的提问来源于stack exchange，提问作者David