Spark序列化结果总大小超限问题：Databricks Delta表操作报错

是的，这个报错确实是因为任务数量过多，Spark内部需要将每个任务的执行结果元数据（比如任务状态、输出文件路径、统计信息等）序列化后传回Driver进行协调，当任务总数达到59014个时，这些元数据的总大小超过了spark.driver.maxResultSize的4GiB限制，从而触发报错。

你没有主动将数据传回Driver，但Spark在执行写操作时，每个任务完成后都会向Driver汇报执行结果的元数据，大量任务的元数据累加就会突破这个限制。

解决方案 #

1. 调大Driver结果大小限制
   在Databricks集群配置或Session中修改spark.driver.maxResultSize参数，适当调大阈值（比如8GiB），但要确保Driver节点有足够的内存承载这个大小：

   spark.conf.set("spark.driver.maxResultSize", "8g")
   

2. 减少任务总数

   • 先对DataFrame进行重分区，合并小分区，控制每个分区的大小在1-2GB左右，避免生成过多小任务：

     # 根据新的分区列重分区，同时控制分区数量
     inputDataframe = inputDataframe.repartition("existing_partition_column1","existing_partition_column2","existing_partition_column3","bucket_key")
     

   • 先对原Delta表执行OPTIMIZE操作合并小文件，减少后续处理的文件数量，从而降低任务数：

     OPTIMIZE huge_delta_table
     

3. 改用Delta分桶功能替代新增分区
   你当前是把bucket_key作为分区列，这会导致分区数暴增（原有3个分区×20个桶），进而生成大量任务。建议使用Delta的bucketBy分桶功能，在原有分区内分桶，既能实现分桶效果，又不会生成过多分区目录，任务数更可控：

   bucket_number = 20
   inputDataframe = spark.read.table("huge_delta_table")
   inputDataframe = inputDataframe.withColumn("bucket_key", (translate(substring(col("some_column"), 0, 16), "abcdefghijklmnopqrstuvwxyz", "01234567890123456789012345").cast(LongType()) % bucket_number) + 1)
   inputDataframe.write.format("delta")\
       .mode("overwrite")\
       .option("overwriteSchema", "true")\
       .partitionBy("existing_partition_column1","existing_partition_column2","existing_partition_column3")\
       .bucketBy(bucket_number, "bucket_key")\
       .saveAsTable("huge_delta_table")
   

代码小修正 #

你的示例代码中有两处笔误：

• 多余的inputDatafrme.write.format("delta")语句（拼写错误+无意义）
• 后续写操作误用了input.write，应该是inputDataframe.write

内容的提问来源于stack exchange，提问作者Abhishek