如何在SQLMesh中编写source.yml导入Snowflake表及配置目录结构

1. SQLMesh的source.yml语法（区别于dbt） #

SQLMesh的源表定义语法和dbt存在差异，直接复用dbt配置会失效。正确的source.yml结构以sources顶层数组为核心，逐个定义数据源及关联的Snowflake库、模式与表：

sources:
  - name: raw_customer_data  # 数据源标识，模型引用时使用
    database: SNOWFLAKE_RAW_DB  # Snowflake对应数据库名
    schema: RAW_CUSTOMER_SCHEMA  # Snowflake对应模式名
    tables:
      - name: customer_signups  # 源表名称
        description: "用户注册原始数据"
        columns:
          - name: user_id
            description: "用户唯一ID"
          - name: signup_timestamp
            description: "注册时间戳"
      - name: customer_purchases  # 同一数据源下的另一张表
        description: "用户购买原始数据"

在SQLMesh模型中引用源表时，语法和dbt类似：{{ source('raw_customer_data', 'customer_signups') }}，重点注意配置结构必须包裹在sources数组内。

2. 目录结构与Snowflake Schema的映射 #

SQLMesh通过全局配置文件sqlmesh.yml或单个模型的MODEL块实现目录与Snowflake Schema的映射，逻辑和dbt类似但配置位置不同：

全局批量映射（推荐） #

在项目根目录的sqlmesh.yml中，按目录层级批量指定数据库和Schema：

models:
  +database: ANALYTICS_DB  # 所有模型默认使用的Snowflake数据库
  +schema: ANALYTICS_SCHEMA  # 默认Schema
  # 为staging目录下的模型单独指定Schema
  staging:
    +schema: STAGING_SCHEMA
  # 为marts目录下的模型单独指定Schema
  marts:
    +schema: MARTS_SCHEMA

比如目录models/staging/customer_staged.sql中的模型，会自动生成到Snowflake的ANALYTICS_DB.STAGING_SCHEMA；models/marts/customer_summary.sql则生成到ANALYTICS_DB.MARTS_SCHEMA。

单个模型单独配置 #

若某模型需要特殊映射，可在模型文件内的MODEL块中覆盖全局配置：

MODEL (
  name marts.customer_summary,
  kind FULL,
  config (
    database: CUSTOM_ANALYTICS_DB,  # 覆盖全局数据库配置
    schema: CUSTOM_MARTS_SCHEMA     # 覆盖全局Schema配置
  )
);

SELECT 
  user_id,
  COUNT(purchase_id) as total_purchases
FROM {{ source('raw_customer_data', 'customer_purchases') }}
GROUP BY user_id

该方式优先级高于全局配置，适合特殊场景的模型。

内容的提问来源于stack exchange，提问作者VíctorBayona