Spark最优重分区值选择问询：结合集群配置与Left Join场景

核心原则 #

Spark分区配置需同时满足三个关键要求：

• 分区大小控制在128MB-256MB（与HDFS默认块大小对齐，降低IO读写开销）
• 分区数匹配集群并行能力（总核心数的2-3倍左右，平衡任务调度开销与CPU利用率）
• Join场景下，关联表分区数尽量一致，避免shuffle阶段的额外分区合并开销

具体配置方案 #

1. File1（27GB）的重分区数 #

按256MB/分区计算：27GB × 1024MB/GB ÷ 256MB/分区 = 108 个分区
按128MB/分区计算：27GB × 1024MB/GB ÷ 128MB/分区 = 216 个分区

推荐选择108个分区：既符合最优分区大小标准，又避免过多任务带来的调度开销。集群总核心数为4（2个Executor×2核），108个分区需27轮执行，每轮4个并行任务，CPU利用率充足且GC压力可控。

2. File2（3GB）的重分区数 #

分两种场景处理：

• Shuffle Join场景：将File2重分区为108个分区，与File1分区数保持一致。Join阶段两个表的分区可一一对应，消除shuffle后的分区合并开销，提升Join效率。
• 广播Join场景：无需重分区，直接通过broadcast()函数将File2广播至所有Executor。3GB的大小在Executor可用内存（11GB，总内存13GB减去2GB开销）范围内，广播后可彻底避免shuffle操作，效率更高。

3. File3（12MB）的处理 #

直接广播，无需重分区。极小表广播后不会占用过多内存，且能彻底避免shuffle，是此类小表的最优处理方式。

代码示例 #

// 读取并配置分区
val file1 = spark.read.format("xxx").load("path/to/file1").repartition(108)
// Shuffle Join模式的File2配置
val file2 = spark.read.format("xxx").load("path/to/file2").repartition(108)
// 广播Join模式的File2配置（二选一）
// val file2 = broadcast(spark.read.format("xxx").load("path/to/file2"))
val file3 = broadcast(spark.read.format("xxx").load("path/to/file3"))

// 执行Left Join
val result = file1.join(file2, Seq("join_key"), "left")
                 .join(file3, Seq("join_key"), "left")

内容的提问来源于stack exchange，提问作者Praveen Kumar