GCP Dataform是否具备外部上游数据源任务完成检测机制？是否需结合Airflow编排？

原生验证能力 #

Dataform没有内置的外部上游任务完成检测机制，但可以通过两种方式实现源表就绪校验：

• 自定义断言：编写SQL断言检查源表核心指标（比如行数、最新数据时间），断言失败则任务直接终止。示例代码：

assertions {
  row_count_valid: `SELECT COUNT(*) FROM \`project.dataset.source_table\`` > 0;
  latest_data_valid: `SELECT MAX(load_time) FROM \`project.dataset.source_table\`` >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR);
}

• 预处理校验逻辑：在模型的SQL开头加入源表存在性或有效性检查，不符合条件则主动抛出错误终止任务。示例代码：

DECLARE source_table_exists BOOL DEFAULT EXISTS(SELECT 1 FROM `project.dataset.source_table`);
IF NOT source_table_exists THEN
  SIGNAL SQLSTATE '45000' SET MESSAGE_TEXT = '源表未就绪，任务终止';
END IF;

复杂场景下的Airflow编排方案 #

如果需要处理更复杂的上游依赖校验（比如跨系统任务状态检测、多数据源协同），建议依赖Airflow负责编排：

• 先用Airflow的传感器（如BigQueryTableSensor）检测源表就绪状态，满足条件后再触发Dataform工作流。
• 通过Airflow的DataformCreateCompilationResultOperator和DataformRunWorkflowOperator调度Dataform任务，实现端到端的流程管控。

这种分工更合理：Airflow专注跨系统任务编排，Dataform聚焦数据转换逻辑，适合复杂的生产环境场景。

内容的提问来源于stack exchange，提问作者Yong Jin Lee