Spark SQL多小文件输出问题求助：大表关联任务耗时久

问题背景 #

执行涉及500GB大表的多表关联操作时，输出产生大量800KB-1.5MB的小文件，任务被拆分为海量子任务，耗时极久。已尝试broadcast join、调整分区大小、修改maxRecordsPerFile等Spark调优配置，未获性能提升；使用coalesce时任务停滞无进展。结合Spark UI指标来看，Stage任务数异常庞大，Shuffle读写的数据分布严重不均，部分任务处理的数据量极小。

核心原因分析 #

• 关联键数据分布极度倾斜，导致大量分区数据量不足，最终生成小文件
• coalesce为窄依赖操作，无法重新洗牌数据，当数据分布不均时，部分Task需处理远超预期的数据量，引发停滞
• 常规调优参数未触及数据倾斜的核心问题，无法从根源上解决小文件和任务过多的问题

针对性优化方案 #

1. 定位并解决数据倾斜 #

• 统计关联键的分布情况，执行df.groupBy("join_key").count().orderBy(desc("count"))找出倾斜严重的Key
• 对倾斜Key拆分处理：给倾斜Key添加随机前缀（如concat(join_key, "_", cast(rand()*10 as int))），拆分为多批次关联后再合并结果；或单独抽取倾斜Key对应的数据集，单独处理后与主结果合并
• 验证broadcast join有效性：检查Spark UI的Broadcast模块，确认小表是否被成功广播；若小表实际数据量过大（超过spark.sql.autoBroadcastJoinThreshold默认10MB），broadcast会失效，需调整该阈值或改用其他关联方式

2. 用repartition替代coalesce合并分区 #

• coalesce仅做分区合并，无法重新分配数据，数据倾斜场景下无法均匀合并分区
• 根据目标文件大小计算目标分区数（如目标128MB文件：500*1024/128=4096），执行df.repartition(4096)触发Shuffle，均匀分布数据以生成大小合适的文件
• 若担心Shuffle开销，优先通过数据倾斜优化减少数据量，再执行repartition

3. 调整输出端文件控制参数 #

• 结合spark.sql.files.maxPartitionBytes（默认128MB）和spark.sql.files.maxRecordsPerFile，双维度控制单个文件的数据量和记录数
• 开启自适应执行：设置spark.sql.adaptive.enabled=true，Spark会根据实际数据量自动合并小分区，避免小文件生成
• 针对列式存储（如Parquet/ORC），设置spark.sql.parquet.mergeSchema=false（无需合并Schema时），减少额外开销

4. 前置过滤逻辑减少关联后数据量 #

• 检查关联后的计算流程，若存在大量过滤操作，将其前置到关联前执行，减少关联后的数据量，从源头降低小文件生成概率

内容的提问来源于stack exchange，提问作者Arun Balaji