Spark 3.5.x结合Apache Iceberg分桶时出现OOM问题求助

问题描述 #

使用Spark向Apache Iceberg表写入数据时触发OOM错误，定位原因是分桶操作引发了不必要的Shuffle，导致JVM内存溢出。当前数据分布均匀，不存在数据倾斜问题。

对应建表及写入代码如下：

spark.sql(
  """
    |CREATE TABLE IF NOT EXISTS rest.db.customers (
    |  customer_id INT,
    |  customer_name STRING,
    |  date DATE,
    |  transaction_details STRING
    |) USING iceberg
    |PARTITIONED BY (bucket(1000, customer_id), days(date))""".stripMargin)

val customerData = generateCustomerData(1 to 100000) // 生成10万条4列数据
// 转换为DataFrame
val customerDF = customerData.toDF("customer_id", "customer_name", "date", "transaction_details")
// 写入Apache Iceberg表
customerDF
  .write
  .format("iceberg")
  .mode("append")
  .save("rest.db.customers")

问题原因 #

当Iceberg表同时配置分桶（bucket）和时间分区（days(date)）时，Spark写入流程会先按分桶键执行Shuffle，再按时间分区落地数据。此处设置了1000个分桶，对于仅10万条数据来说分桶数量过多——每个分桶的数据量极小，但Shuffle过程中需要创建大量分区文件和任务，中间数据占用了过多JVM内存，最终引发OOM。

解决方案 #

• 合理调整分桶数量：根据数据规模设置分桶数，10万条数据建议将分桶数调整为10-20，避免分桶过多导致Shuffle开销激增

  PARTITIONED BY (bucket(15, customer_id), days(date))
  

• 优化Shuffle内存配置：调大Spark Shuffle相关内存参数，缓解内存压力

  --conf spark.sql.shuffle.partitions=20
  --conf spark.shuffle.memoryFraction=0.3
  --conf spark.shuffle.file.buffer=64k
  

• 调整分区策略顺序：若业务中时间分区的过滤需求更频繁，可优先按days(date)分区，分桶作为二级策略，减少Shuffle必要性
• 启用Iceberg分桶写入优化：开启Iceberg的write.distribution-mode参数为hash，让Iceberg自行处理分桶Shuffle优化，避免Spark端额外开销

  customerDF
    .write
    .format("iceberg")
    .mode("append")
    .option("write.distribution-mode", "hash")
    .option("write.hash-distribution-column", "customer_id")
    .save("rest.db.customers")
  

内容的提问来源于stack exchange，提问作者RockSolid