dbt模型配置复用列：解决YAML合并丢失字段描述问题

你的操作确实有误 #

YAML的<<:合并运算符是键值对覆盖逻辑，而非数组合并。当你在模型中同时声明<<: *comm和自定义columns键时，模型的columns会完全覆盖锚点里的columns配置，直接导致公共列的描述、测试等信息丢失。

正确的YAML复用方式 #

要保留公共列，需将公共列数组作为锚点，在每个模型的columns数组中插入，而非覆盖整个columns键：

version: 2

# 定义公共列数组的锚点
.comm_columns: &comm_columns
  - name: id
    description: The identifier
    data_type: int
    tests:
      - not_null
      - unique
  - name: created_at
    description: Record creation timestamp
    data_type: timestamp
    tests:
      - not_null

models:
  - name: table1
    columns:
      # 插入公共列配置
      *comm_columns
      # 新增模型专属列
      - name: attribute1
        description: Attribute 1
        data_type: varchar(255)
  - name: table2
    columns:
      *comm_columns
      - name: attribute2
        description: Attribute 2
        data_type: float

其他复用公共列的高效方案 #

针对大量公共列（带描述、类型、测试规则）的场景，还有以下更适合的方案：

1. 使用dbt宏统一定义公共列 #

在macros/目录下创建宏文件（如macros/comm_columns.sql），统一管理公共列的SQL逻辑与注释：

{% macro comm_columns() %}
  id int comment 'The identifier',
  created_at timestamp comment 'Record creation timestamp',
  updated_at timestamp comment 'Last update timestamp'
{% endmacro %}

在模型SQL中直接引用宏，避免重复编写公共列：

select
  {{ comm_columns() }},
  -- 模型专属列
  user_name as attribute1
from raw.users

配合YAML锚点或片段，可同时复用列的描述、测试等配置。

2. 模型继承（dbt Core 1.5+） #

创建基础模型配置文件（如models/_base_model.yml），集中定义所有公共列的完整配置：

version: 2

models:
  - name: _base_model
    columns:
      - name: id
        description: The identifier
        data_type: int
        tests:
          - not_null
          - unique
      - name: created_at
        description: Record creation timestamp
        data_type: timestamp
        tests:
          - not_null

其他模型通过extends关键字继承基础模型，仅需定义专属列：

version: 2

models:
  - name: table1
    extends: _base_model
    columns:
      - name: attribute1
        description: Attribute 1
        data_type: varchar(255)
  - name: table2
    extends: _base_model
    columns:
      - name: attribute2
        description: Attribute 2
        data_type: float

3. YAML片段文件 #

将公共列配置单独存放在一个YAML文件（如models/_comm_columns.yml）：

- name: id
  description: The identifier
  data_type: int
  tests:
    - not_null
    - unique
- name: created_at
  description: Record creation timestamp
  data_type: timestamp
  tests:
    - not_null

在主配置文件中用!include指令引入片段：

version: 2

models:
  - name: table1
    columns:
      !include _comm_columns.yml
      - name: attribute1
        description: Attribute 1
  - name: table2
    columns:
      !include _comm_columns.yml
      - name: attribute2
        description: Attribute 2

内容的提问来源于stack exchange，提问作者Prassi