如何通过dbt_external_tables为Snowflake外部表添加inserted_at列？

可以通过Snowflake外部表的内置元数据字段，结合dbt_external_tables的计算列配置，添加自动生成的时间戳列用于CDC。

核心思路 #

Snowflake外部表自带多个内置元数据属性，其中METADATA$FILE_LAST_MODIFIED会返回Azure Blob中源CSV文件的最后修改时间（即数据上传到Blob的时间），这个时间戳可以作为记录被纳入外部表的标识，完全满足CDC需求。

修改dbt配置文件 #

在你的yml配置的columns节点下，添加一个自动计算列，直接引用Snowflake的元数据字段即可：

version: 2
sources:
  - name: external_sources
    description: 'External Sources'
    loader: Prefect
    database: MY_DB
    schema: RAW
    tables:
      - name: raw_custom__tests
        description: 'Raw Custom test data'
        external:
          location: '@my_db.stage.some_landing'
          file_format: ( type = csv  COMPRESSION = AUTO FIELD_DELIMITER = ',' SKIP_HEADER = 1)
          pattern: 'custom.*.csv'
        partitions:
            - name: asOfDate
              data_type: date
            - name: portfolioID
              data_type: varchar(255)
        columns:
          - name: portfolioID
            description: Unique Identifier of the portfolio
            data_type: varchar(255)
          - name: asOfDate
            description: As of date for the record
            data_type: varchar(255)
          - name: testValueOne
            description: First test value
            data_type: varchar(255)
          - name: testValueTwo
            description: Second Test Value
            data_type: varchar(255)
          # 添加自动生成的时间戳列
          - name: record_load_timestamp
            description: Timestamp when the source file was uploaded to Azure Blob (used for CDC)
            data_type: timestamp_ltz
            expression: METADATA$FILE_LAST_MODIFIED

关键说明 #

• expression参数是dbt_external_tables定义Snowflake外部表计算列的专用语法，对应SQL中的AS子句；
• METADATA$FILE_LAST_MODIFIED是Snowflake原生元数据字段，无需额外配置即可直接引用；
• 若你需要的是记录被外部表扫描到的时间（而非文件上传时间），可在后续dbt转换模型中用CURRENT_TIMESTAMP()生成，但CDC场景下文件修改时间更能准确反映数据的更新时机。

生效验证 #

运行dbt命令刷新外部表：

dbt run-operation stage_external_sources --select raw_custom__tests

之后查询该外部表，就能看到record_load_timestamp列已自动填充时间戳。

内容的提问来源于stack exchange，提问作者pix