如何在GCP Dataform中为非仓库所属项目分配成本与资源用量？

核心结论 #

这是Dataform的预期行为，仅通过codeCompilationConfig.defaultDatabase或替换执行服务账号，无法将BigQuery资源用量的归属项目切换到客户指定的GCP ProjectID。

原因解析 #

• codeCompilationConfig.defaultDatabase的作用仅为指定SQL语句中默认的数据集所属项目（即补全DATASET.TABLE格式语句中的项目前缀），但Dataform工作流的执行上下文（包括槽位调度、日志存储、作业发起主体）仍绑定在仓库所在的GCP项目，所有任务的资源消耗会被计入该项目。
• 替换执行服务账号仅改变任务的身份权限（比如是否能访问客户项目的数据集），但任务的执行环境、资源计费逻辑仍由Dataform仓库所在项目控制，无法转移用量归属。

实现资源归属到客户项目的可行方案 #

方案1：客户项目部署专属Dataform仓库 #

为每个客户在其指定的GCP项目内部署独立的Dataform仓库，所有针对该客户的任务直接在其专属仓库中执行。这种方式下，BigQuery槽位用量、账单、日志会完全归属客户项目，是最彻底的解决方案。

方案2：显式指定BigQuery作业的目标项目 #

如果必须共用主Dataform仓库，需通过自定义代码在提交BigQuery作业时显式指定projectId为客户项目ID：

1. 在Dataform中创建JavaScript类型的操作，调用BigQuery API提交作业时，设置jobReference.projectId为客户项目ID；
2. 确保执行服务账号拥有客户项目的bigquery.jobs.create权限；
3. 这种方式下，BigQuery作业的计算用量会归属客户项目，但Dataform自身的编译、调度等基础开销仍会计入主仓库项目。

方案3：跨项目数据集引用+作业项目指定 #

在SQL语句中显式引用客户项目的数据集（格式为customer-project-id.dataset.table），同时通过Dataform的配置或自定义代码，确保BigQuery作业提交到客户项目，这样作业的计算资源用量会归属客户项目。

内容的提问来源于stack exchange，提问作者Patrick-Ranjit D. Madsen