使用dbt创建Iceberg分区表报错：DATE字段分区声明无效

错误原因 #

你遇到的INVALID_TABLE_PROPERTY错误，是因为partitioned_by配置中直接使用了year('sale_date')这类函数调用字符串，数据仓库无法将其解析为合法的分区字段声明。dbt的partitioned_by参数需要引用模型输出中实际存在的字段名，而非直接写入函数表达式。

解决方案 #

要实现按sale_date的年、月、日多级分区，需要先在SELECT语句中提取对应的年、月、日字段，再在partitioned_by中引用这些字段名。以下是修改后的完整代码：

1. 调整模型配置 #

{{ config(
    materialized='incremental',
    incremental_strategy='append',
    -- 引用SELECT中生成的分区字段
    partitioned_by=["sale_year", "sale_month", "sale_day"],
    schema='ga_public_sale',
    pre_hook = [
        """{% if is_incremental() %}
        delete from {{this}}
        where
        sale_date >= current_date - interval '90' day
        {% endif %}
        """
    ]
) }}

2. 修改SELECT语句，添加分区字段 #

SELECT
  sale_tend.transaction_number
, sale_tend.sale_date
-- 提取sale_date的年、月、日作为分区字段
, EXTRACT(YEAR FROM sale_tend.sale_date) AS sale_year
, EXTRACT(MONTH FROM sale_tend.sale_date) AS sale_month
, EXTRACT(DAY FROM sale_tend.sale_date) AS sale_day
, sale_tend.store_code
, sale_tend.transaction_index
, sale_tend.row_key
, sale_tend.sale_currency
, sale_tend.transaction_type_code
, sale_tend.transaction_type_group
, sale_tend.tender_number
, sale_tend.tender_type_code
, sale_tend.tender_amount
, sale_tend.tender_currency
, sale_tend.tender_code
, sale_tend.closure_cashier_code cashier_code
, sale_tend.consumer_code
, tender_type_text.tender_type_desc
, tender_type.tender_type_group_code
, tender_type_group_text.tender_type_group_desc
FROM
  ((((ga_curated_sale.car_sale_transaction sale_tend
LEFT JOIN ga_curated_customer.car_store_profile store_profile ON (sale_tend.store_code = store_profile.store_code))
LEFT JOIN ga_curated_tender.car_tender_type_text tender_type_text ON ((store_profile.profile_code = tender_type_text.profile_code) AND (sale_tend.tender_type_code = tender_type_text.tender_type_code) AND (tender_type_text.language = 'E')))
LEFT JOIN ga_curated_tender.car_tender_type tender_type ON ((store_profile.profile_code = tender_type.profile_code) AND (sale_tend.tender_type_code = tender_type.tender_type_code)))
LEFT JOIN ga_curated_tender.car_tender_type_group_text tender_type_group_text ON ((store_profile.profile_code = tender_type_group_text.profile_code) AND (tender_type.tender_type_group_code = tender_type_group_text.tender_type_group_code) AND (tender_type_group_text.language = 'E')))
WHERE (((sale_tend.transaction_type_code = '1001') OR (sale_tend.transaction_type_code = '1004')) AND (sale_tend.record_type_code = 21) AND (NOT (sale_tend.task_canceled_flg IN ('X'))))
{% if is_incremental()  %}
        AND sale_date >= current_date - interval '90' day
{% endif %}

补充说明 #

• 如果你的数据仓库支持按日期字段自动分层（比如BigQuery的日期分区），且不需要显式拆分为年、月、日三级分区，也可以简化配置为partitioned_by=["sale_date"]，这样仓库会自动处理日期的分层存储。
• 确保使用的日期提取函数符合你的数据仓库语法：比如Snowflake用DATE_PART(YEAR, sale_date)，BigQuery用EXTRACT(YEAR FROM sale_date)，根据实际使用的仓库调整即可。

内容的提问来源于stack exchange，提问作者Valerio Auricchio