如何在Dataform BigQuery中高效编写表非空断言？

核心优化原则 #

针对超大表，绝对避免全表扫描，优先用元数据查询或短平快的存在性判断，把资源消耗降到最低。

两种最优实现方式 #

方式一：用BigQuery元数据表（零扫描，最快） #

直接查BigQuery的元数据统计表，不需要碰目标表的实际数据，速度拉满：

SELECT
  '目标表无数据，断言失败' AS failure_reason
FROM
  `你的项目ID.你的数据集.__TABLES__`
WHERE
  table_id = '你的目标表名'
  AND row_count = 0

• 逻辑：如果目标表行数为0，返回1行触发断言失败；有数据则返回0行，断言通过。
• 注意：元数据的row_count有几分钟延迟，如果是刚写入的表，可能需要用下面的实时校验方式。

方式二：EXISTS子句+LIMIT 1（实时校验，资源可忽略） #

如果需要实时判断刚生成的表，用EXISTS只找第一行，找到就停，不会扫全表：

SELECT
  '目标表无数据，断言失败' AS failure_reason
WHERE
  NOT EXISTS (
    SELECT 1
    FROM `你的项目ID.你的数据集.你的目标表名`
    LIMIT 1
  )

• 逻辑：目标表无数据时，NOT EXISTS为真，返回1行；有数据则NOT EXISTS为假，返回0行。

Dataform中配置与依赖 #

1. 创建断言文件（比如assertions/check_table_has_data.sqlx）：

config {
  type: "assertion",
  tags: ["data_existence_check"]
}

-- 替换成上面任意一种SQL
SELECT
  '目标表无数据，断言失败' AS failure_reason
FROM
  `你的项目ID.你的数据集.__TABLES__`
WHERE
  table_id = '你的目标表名'
  AND row_count = 0

2. 在后续资源密集型步骤的配置里添加依赖，确保断言通过才执行：

config {
  dependencies: ["assertions.check_table_has_data"]
}

-- 你的资源消耗大的SQL逻辑写在这里

关于Dataform内置断言的补充 #

确实Dataform官方内置的断言（比如noNulls）里没有直接的“数据存在性”校验，这种自定义方式是目前最高效的替代方案，完全适配超大表场景。

内容的提问来源于stack exchange，提问作者aclong