dbt增量模型7天数据保留期配置后次日运行失败的解决方案

问题本质 #

你遇到的报错来自数据仓库（比如BigQuery）的强制分区消除限制：查询分区表时必须指定分区键event_date的过滤条件。首次运行正常但次日失败，核心原因是保留期清理或增量同步的逻辑没有动态适配每日的日期过滤，导致某次运行时触发了全表扫描的限制。

具体修复步骤 #

1. 给保留期清理脚本加动态日期过滤 #

别写固定日期，用dbt支持的日期函数动态计算7天前的日期，确保每次运行都精准命中要清理的分区，同时满足分区过滤要求。
示例清理宏：

{% macro clean_expired_data() %}
  DELETE FROM {{ this }}
  WHERE event_date < DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
{% endmacro %}

在模型配置的post-hook中调用这个宏：

models:
  your_project:
    your_target_model:
      materialized: incremental
      incremental_strategy: merge
      unique_key: your_unique_key_column
      post-hook: "{{ clean_expired_data() }}"

2. 强制增量模型的所有分支都带分区过滤 #

增量运行时，不仅要限制新数据的拉取范围，合并逻辑也要加上分区条件，避免扫描全表。修改模型SQL：

{{ config(
    materialized='incremental',
    incremental_strategy='merge',
    unique_key='your_unique_key_column'
) }}

WITH latest_data AS (
    SELECT * FROM {{ source('raw', 'your_source_table') }}
    {% if is_incremental() %}
        -- 增量模式下只拉取最近8天数据（覆盖可能的延迟数据）
        WHERE event_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 8 DAY)
    {% endif %}
)

SELECT * FROM latest_data

{% if is_incremental() %}
    -- 合并时追加分区过滤，避免全表扫描
    WHERE event_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 8 DAY)
{% endif %}

3. 用运行时间变量替代当前日期（可选） #

如果模型是定时任务，跨天运行时用dbt的get_run_started_at()更准确，避免日期计算偏差：

WHERE event_date < DATE_SUB({{ get_run_started_at() }}::DATE, INTERVAL 7 DAY)

验证方式 #

• 运行后查看dbt日志，确认所有涉及该表的SQL都包含event_date的过滤条件
• 去数据仓库的查询历史里检查，确保没有触发全表扫描的操作

内容的提问来源于stack exchange，提问作者Naveena P B