dbt使用stage_external_sources配置Azure Blob分区时列显示异常咨询

该问题本质是dbt对接Snowflake外部表的列定义逻辑差异导致：
当外部源使用半结构化文件格式（JSON、Parquet等），只要配置了分区列，dbt就会关闭自动schema推导逻辑，不再自动从默认生成的全量variant列（也就是通常看到的$1列）中提取你手动定义的业务字段，必须手动为每个业务列指定数据提取表达式，否则这些列会被直接从外部表的定义中移除。
这个逻辑和你测试的现象完全匹配：

• 无分区配置时，dbt走自动schema推导，能正常识别所有业务列
• 加上分区配置后，自动推导逻辑关闭，未指定提取表达式的业务列被忽略，最终只剩自动生成的variant列、你定义的分区列

给所有手动定义的业务列补充对应的数据提取expression配置，修改后的配置示例如下：

- name: arsm
    external:
      location: '@my_azure_stage'
      file_format: 'myformat'
      pattern: '.*path.*tablename_.*'
      auto_refresh: false
      partitions:
        - name: LOAD_DATE
          data_type: date
          expression: TO_DATE(substring(metadata$filename,16,10))
      columns:
      - name: "AoNr" 
        data_type: bigint
        # 补充半结构化字段提取表达式，格式为 $1:字段名::数据类型
        expression: $1:AoNr::bigint
      - name: "AoNrAlfa" 
        data_type: varchar(65)
        expression: $1:AoNrAlfa::varchar(65)
      - name: "AoPos" 
        data_type: int
        expression: $1:AoPos::int
      - name: "ArtikelVariant" 
        data_type: varchar(30)
        expression: $1:ArtikelVariant::varchar(30)
      - name: "ArtKalkBer" 
        data_type: NUMERIC
        expression: $1:ArtKalkBer::NUMERIC

注意事项 #

• 如果你的文件是Parquet格式，上述提取表达式的写法同样适用，不需要调整分区列的配置逻辑
• 修改完配置后，重新执行dbt run-operation stage_external_sources刷新外部表的元数据，即可正常读取所有业务列

内容的提问来源于stack exchange，提问作者Jensvoll