Spark内存Spill问题求助：多文件Join场景下如何避免溢出

将13个CSV文件Join后写入Blob存储（输出为Parquet格式），文件大小分布如下：

• 大文件：file1(950MB)、file4(620MB)、file5(235MB)
• 中等文件：file3(150MB)、file8(70MB)、file2(50MB)
• 小文件：file6/file7(<1MB)，其余为KB级

当前核心问题：未执行额外计算，但出现2GB内存Spill。已完成排查：

• 启用AQE，自动生成13个约60MB的Parquet分区；大表采用SortMerge Join，小表采用BroadcastHash Join，Join类型选择合理
• 尝试对file1/file4/file5按Join键分10桶（DAG显示无Shuffle），但Spill大小未改善；调整分桶数也无效
• 集群配置：standard_D3_v2实例（14GB内存/4核），Worker范围2-8，本次使用6个Worker，仅2个参与到Join阶段结束，写入阶段额外占用4个

1. 调整Executor内存分配与并行度 #

• 精准分配Executor内存：standard_D3_v2单节点预留2-4GB给系统进程，设置spark.executor.memory=10g、spark.executor.memoryOverhead=4g，避免堆外内存不足触发Spill
• 提升Join阶段并行度：当前仅2个Worker参与Join，说明并行度不足。设置spark.sql.shuffle.partitions=72（6个Worker×4核×3倍），让SortMerge Join充分利用集群资源，降低单分区数据量
• 优化AQE分区策略：保持spark.sql.adaptive.coalescePartitions.enabled=true，将spark.sql.adaptive.advisoryPartitionSizeInBytes设为32MB，让AQE更精准地拆分大分区、合并小分区

2. 优化大表读取与预处理 #

• 指定Schema读取CSV：提前定义表结构，通过spark.read.schema(preDefinedSchema).csv()读取，避免Spark自动推断Schema时加载全量数据到内存
• 裁剪冗余字段：仅保留Join键和最终输出所需字段，减少单条记录大小，降低SortMerge Join的内存压力
• 预排序分桶：对file1/file4/file5按Join键预排序后写入分桶表，避免Join阶段重复排序（排序是SortMerge Join内存Spill的核心来源），示例代码：

  df.write.bucketBy(10, "join_key").sortBy("join_key").saveAsTable("bucketed_large_table")
  

3. 调整SortMerge Join内存参数 #

• 调大排序缓冲区：设置spark.sql.sort.spillThreshold=128m，让更多数据在内存完成排序，减少磁盘Spill
• 优化Shuffle内存占比：设置spark.shuffle.memoryFraction=0.35、spark.shuffle.safetyFraction=0.8，增加Shuffle阶段可用内存，同时避免OOM风险

4. 集群资源调度优化 #

• 避免资源抢占：将Join和写入阶段拆分为两个独立Job，先将Join结果写入Blob临时目录，再读取临时数据写入最终Parquet，防止两个阶段同时抢占内存
• 启用动态资源分配：开启spark.dynamicAllocation.enabled=true，让集群自动根据任务需求增减Worker，确保Join阶段有足够资源

5. 定位与验证 #

• 通过Spark UI的Stages页面查看Spill发生的具体阶段（排序/Shuffle），针对性优化
• 查看Storage页面，确认数据缓存是否合理，避免不必要的内存占用

内容的提问来源于stack exchange，提问作者Ash