如何优化Spark中两个20TB表关联后写入S3的任务性能

一、核心资源配置调优 #

基于r5.4xlarge（16vCPU/128GB内存）实例规格，建议配置以下Spark参数：

• 执行器与核心配置：
  • spark.executor.cores = 5，单执行器分配5核，预留1核给节点系统进程避免资源竞争
  • spark.executor.memory = 38G，spark.executor.memoryOverhead = 4G，单节点可跑3个执行器，内存利用率最大化
  • spark.driver.memory = 16G，spark.driver.memoryOverhead = 2G，匹配大表Join的元数据存储需求
• 并行度配置：
  • spark.default.parallelism = 执行器总核心数的2~3倍，平衡任务并行度与调度开销
  • spark.sql.shuffle.partitions = 8192，控制单Shuffle分区数据量在128MB~256MB区间，避免默认200分区导致的单分区数据过大问题

二、Join逻辑专项优化 #

• 分区裁剪优先：两张表均为时间戳分区，Join前必须基于业务需要过滤掉不需要的时间分区，避免全量读取20TB数据，是投入最低收益最高的优化手段
• 开启自适应执行（AQE）：Spark 3.x+版本默认支持，适配大表Join的动态场景：
  • spark.sql.adaptive.enabled = true
  • spark.sql.adaptive.coalescePartitions.enabled = true，自动合并过小的Shuffle分区，减少任务数
  • spark.sql.adaptive.skewJoin.enabled = true，自动识别并拆分倾斜分区，解决数据倾斜导致的长尾任务
  • spark.sql.adaptive.skewJoin.skewedPartitionThresholdInBytes = 268435456（256MB），超过该阈值的分区判定为倾斜分区
• 提前处理特殊倾斜场景：关联键存在大量空值时，先过滤无效空值，或给空值加随机前缀打散后关联，关联完成后再做后续逻辑处理

三、Parquet IO读写优化 #

• 读取优化：
  • spark.sql.parquet.filterPushdown = true，开启谓词下推，将过滤条件下推到存储层减少读取数据量
  • spark.sql.parquet.columnarReaderBatchSize = 4096，增大批量读取批次，提升列存格式读取效率
  • 编写SQL时只查询需要用到的字段，禁止用select *，减少IO加载的数据量
• 写入优化：
  • spark.sql.adaptive.maxShuffledPostShufflePartitionSize = 268435456（256MB），控制最终输出文件大小在256MB左右，避免大量小文件生成
  • 动态分区写入配置：
    • spark.sql.sources.partitionOverwriteMode = DYNAMIC，仅覆盖需要更新的分区，无需全量表覆写
    • hive.exec.dynamic.partition = true
    • hive.exec.dynamic.partition.mode = nonstrict

四、EMR/S3/Glue适配优化 #

• S3连接器配置：
  • spark.hadoop.fs.s3a.fast.upload = true，开启S3快速上传能力
  • spark.hadoop.fs.s3a.multipart.size = 104857600（100MB），调整分片上传大小适配大文件写入
  • spark.hadoop.fs.s3a.connection.maximum = 1000，增大S3连接数上限，避免并发写入时连接不足超时
  • spark.hadoop.parquet.enable.summary-metadata = false，取消Parquet摘要元数据生成，减少S3请求次数
• Glue表适配：
  • 开启Glue Catalog作为元数据中心：
    • spark.sql.catalogImplementation = hive
    • spark.hadoop.hive.metastore.client.factory.class = com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory
  • 写入时直接调用saveAsTable方法自动同步元数据到Glue，动态分区写入完成后可执行MSCK REPAIR TABLE 表名 补充分区元数据（如未自动同步）

长效优化建议 #

如果该Join任务为高频运行任务，可提前将两张表按关联键做分桶处理，分桶数和Shuffle分区数对齐，后续Join时可直接跳过Shuffle阶段，运行效率可提升50%以上。

内容的提问来源于stack exchange，提问作者Gangadhar Dalli