执行Iceberg表MERGE INTO时触发spark.driver.maxResultSize超限求助
Iceberg MERGE的元数据收集逻辑
Iceberg执行MERGE INTO时，需要把所有匹配/不匹配的文件、分区信息汇总到Driver节点，用来生成新的表快照。如果你的MERGE操作涉及的文件或分区数量极大，这些元数据的体积会直接突破spark.driver.maxResultSize的限制——哪怕你没有主动收集计算结果，元数据的传递也会触发这个检查。Glue + Iceberg的默认行为限制
在AWS Glue环境中，Iceberg的MERGE操作默认会将执行器端生成的所有元数据（待删除文件列表、新增文件清单等）全部拉到Driver端集中处理，而非分布式处理这些元数据，这就把大量压力集中到了Driver上。磁盘落盘的适用范围误解
你提到的“中间结果落盘”是针对业务计算数据（比如DataFrame的分区数据），但Iceberg MERGE产生的是表元数据（文件清单、快照信息），这类数据不会被执行器落盘到本地磁盘，而是直接传递给Driver，所以不会触发磁盘溢出后的落盘逻辑。
spark.driver.maxResultSize的解决办法 拆分MERGE的执行范围
不要一次性对全表执行MERGE，按业务维度（比如日期、地域分区）拆分任务，分批处理。比如按天分区的表，每天仅对当日分区执行MERGE，这样每次生成的元数据量会大幅降低。启用Iceberg分布式快照优化
Iceberg 0.13及以上版本支持分布式快照生成，在Glue作业的Spark配置中添加以下参数：
spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions iceberg.spark.distributed-snapshot.enabled=true
这个配置会把元数据汇总工作分散到各个执行器节点，而非全部压到Driver上，能显著降低Driver的内存负载。
- 清理Iceberg表的历史元数据
如果你的表存在大量历史快照、未清理的旧文件，MERGE时需要扫描的元数据量会剧增。先执行VACUUM命令清理过期数据：
VACUUM your_iceberg_table RETAIN 72 HOURS;
（根据业务需求调整RETAIN的时长，避免误删需要保留的历史数据），减少MERGE时需要处理的元数据总量。
升级Glue Driver内存规格
不用调整spark.driver.maxResultSize，但可以在Glue作业配置中把Driver的内存规格从默认值调高（比如从16GB换成32GB），更大的Driver内存能容纳更多元数据，同时保持结果大小限制不变。替换MERGE为分区OVERWRITE（适用特定场景）
如果你的MERGE逻辑是覆盖某个分区的全部数据，直接用INSERT OVERWRITE替代MERGE INTO：
INSERT OVERWRITE your_iceberg_table PARTITION (dt='2024-05-20') SELECT * FROM your_source_data WHERE dt='2024-05-20';
这种方式更高效，且不会产生大量元数据传递给Driver。
内容的提问来源于stack exchange，提问作者CS1999
