GCP项目中Dataform多数据集配置方法咨询

你完全不需要在根目录的dataform.json里添加多个数据集配置，Dataform本身就支持多数据集并行处理，以下是几种高效的实现方式：

1. 单文件指定目标数据集 #

如果只有少量文件需要分配到不同数据集，直接在每个SQL文件顶部添加config块，明确指定目标schema（对应GCP里的数据集）：

比如dataset2/sql_1.sql的内容：

config {
  schema: "dataset2"
}

-- 你的定制SQL逻辑
SELECT * FROM `your-project.dataset1.source_table`

根目录dataform.json里的defaultSchema可以设为dataset1，这样没指定schema的文件默认归到dataset1下，和dataset2的同名文件互不冲突。

2. 目录级批量配置 #

如果某个数据集下有大量SQL文件，推荐按数据集创建子目录，然后在子目录里新建dataform.json配置默认schema，实现批量管理：

比如项目结构：

dataform-project/
├── dataform.json  # 根配置，defaultSchema: "dataset1"
├── dataset1/
│   ├── sql_1.sql
│   ├── sql_2.sql
│   └── sql_3.sql
└── dataset2/
    ├── dataform.json  # 子目录配置
    ├── sql_1.sql
    ├── sql_2.sql
    └── sql_3.sql

dataset2/dataform.json的内容：

{
  "defaultSchema": "dataset2"
}

这样dataset2目录下的所有SQL文件都会自动使用dataset2作为目标数据集，不用逐个文件加config块。

3. 参数化schema（适配多环境场景） #

如果需要根据开发/生产等环境切换数据集名称，可以用变量参数化schema：

根目录dataform.json里定义变量：

{
  "defaultSchema": "${env}_dataset1",
  "vars": {
    "env": "dev"
  }
}

然后在SQL文件或子目录配置里引用变量：

-- dataset2/sql_1.sql
config {
  schema: "${env}_dataset2"
}

运行时还可以通过命令行传入变量覆盖默认值：

dataform run --vars='{"env": "prod"}'

关键误区澄清 #

Dataform并非只能操作一个数据集，defaultSchema只是提供默认目标，每个数据对象（表、视图、自定义SQL）都可以独立指定schema，多个数据集的任务可以在同一个Dataform项目里并行执行、统一调度。

内容的提问来源于stack exchange，提问作者Mizanur Choudhury