配置dbt Spark-Iceberg模型实现S3输出文件每次运行自动删除

针对你用dbt Cloud + AWS EMR Spark + Iceberg表的场景，每次运行生成新文件但遗留旧文件的问题，以下是几种可行的配置方案：

方案1：开启Iceberg自动清理+覆盖写入 #

直接在模型配置中开启Iceberg的 stale 文件自动清理，同时指定覆盖写入策略，让每次运行后自动清理旧文件：

{{ config(
    materialized='table',
    incremental_strategy='overwrite',
    spark_conf={
        # 启用Iceberg扩展
        'spark.sql.extensions': 'org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions',
        # 开启自动清理 stale 文件
        'spark.sql.iceberg.delete-stale-files.enabled': 'true',
        # 设置清理间隔为0，写入后立即清理旧文件
        'spark.sql.iceberg.delete-stale-files.interval': '0s',
        # 确保分区覆盖模式为动态（如果你的表是分区表）
        'spark.sql.sources.partitionOverwriteMode': 'dynamic'
    }
) }}

-- 你的模型SQL逻辑
SELECT * FROM your_source_table

原理：Iceberg是版本化表，默认保留历史快照和文件。开启delete-stale-files.enabled后，Spark写入完成会自动删除不再被任何快照引用的旧文件；incremental_strategy='overwrite'会让dbt以全量覆盖的方式生成新的表快照，配合清理配置就能彻底移除上次运行的旧文件。

方案2：用预钩子手动执行Iceberg清理命令 #

如果自动清理的效果不符合预期，可以在模型运行前手动触发Iceberg的快照过期和孤儿文件清理：

{{ config(
    materialized='table',
    pre_hook=[
        -- 过期1分钟前的所有快照（仅保留最新快照）
        "ALTER TABLE {{ this }} EXECUTE expire_snapshots('1 minute')",
        -- 删除所有未被快照引用的孤儿文件
        "ALTER TABLE {{ this }} EXECUTE remove_orphan_files()"
    ]
) }}

-- 你的模型SQL逻辑
SELECT * FROM your_source_table

原理：expire_snapshots会删除指定时间阈值前的历史快照，remove_orphan_files会清理没有被任何快照关联的S3文件，两者结合确保上次运行的旧数据文件被彻底删除。

方案3：改用增量模型全量覆盖 #

如果需要更灵活的运行控制，可以将模型改为增量类型，配置全量覆盖逻辑：

{{ config(
    materialized='incremental',
    incremental_strategy='overwrite',
    spark_conf={
        'spark.sql.iceberg.delete-stale-files.enabled': 'true'
    }
) }}

SELECT * FROM your_source_table

{% if is_incremental() %}
-- 全量覆盖场景下无需增量过滤条件
{% endif %}

原理：增量模型配合overwrite策略，每次运行都会替换整个表的内容，同时Iceberg自动清理旧的快照和文件，达到和全量表一样的效果但保留增量模型的扩展能力。

注意事项 #

• 确保你的EMR集群版本支持对应Iceberg特性（EMR 6.4及以上版本已默认集成Iceberg）
• dbt运行所使用的IAM角色必须拥有目标S3存储桶的DeleteObject权限
• 如果是分区表，partitionOverwriteMode设为dynamic可以确保仅覆盖涉及的分区文件，非分区表可忽略该配置

内容的提问来源于stack exchange，提问作者Aki