DBT-Snowflake增量模型为何自动修改col_1字段数据类型？

可能的触发原因 #

• Snowflake流的元数据特性：Snowflake流在捕获源表数据时，返回的字段元数据并非严格继承源表的VARCHAR(3)类型。直接从流中查询字段时，Snowflake有时会将字段类型隐式标记为最大长度的VARCHAR(16777216)，DBT对比模型输出与目标表schema时，会优先以流返回的元数据为准，而非你显式的CAST结果。
• DBT schema推断的局限性：DBT的Snowflake适配器解析SELECT语句字段类型时，可能未正确识别CAST(col_1 AS VARCHAR(3))的长度约束，而是优先读取流的底层元数据类型，忽略了CAST的显式转换定义。
• 流的历史元数据残留：如果源表曾修改过col_1的类型（比如从更长的VARCHAR改为VARCHAR(3)），但未重新创建流，流中可能残留旧的类型元数据，导致DBT误判字段类型。

解决办法 #

• 显式定义模型字段类型：用dbt_utils的类型函数强制指定字段类型，替代单纯的CAST。示例：

  SELECT
    dbt_utils.type_varchar(3)(col_1) AS col_1,
    -- 其他字段
  FROM your_stream
  

  或者在models.yml中显式声明字段类型：

  models:
    - name: table_2
      columns:
        - name: col_1
          data_type: varchar(3)
  

• 重新创建Snowflake流：删除并重建流，确保流的字段类型与源表完全一致：

  DROP STREAM IF EXISTS your_stream;
  CREATE STREAM your_stream ON TABLE source_table;
  

• 临时禁用自动schema变更：在模型config中设置schema_change_strategy='none'，阻止DBT自动修改表结构（仅作临时规避，建议找到根本原因后恢复）：

  {{ config(
    materialized='incremental',
    schema_change_strategy='none'
  ) }}
  

• 验证流的字段元数据：查询信息架构确认流的字段类型：

  SELECT COLUMN_NAME, DATA_TYPE
  FROM INFORMATION_SCHEMA.COLUMNS
  WHERE TABLE_NAME = 'YOUR_STREAM_NAME' AND COLUMN_NAME = 'COL_1';
  

内容的提问来源于stack exchange，提问作者Robertino Bonora