BigQuery按TIMESTAMP列日分区表如何高效GROUP BY统计每日行数？

方案1：直接查询BigQuery分区元数据（最优，毫秒级返回，零表数据扫描） #

BigQuery提供了可直接访问的分区级元数据，对应INFORMATION_SCHEMA.PARTITIONS系统视图，里面已经预计算了每个分区的行数、存储量等统计值，完全不需要扫描业务表数据就能快速拿到结果。
你可以直接用以下SQL查询：

SELECT
  PARSE_DATE("%Y%m%d", partition_id) AS 分区日期,
  row_count AS 当日行数
FROM
  `你的项目ID.你的数据集ID.INFORMATION_SCHEMA.PARTITIONS`
WHERE
  table_name = 't' -- 替换为你的表名
  AND PARSE_DATE("%Y%m%d", partition_id) > '2000-01-01'
ORDER BY
  分区日期 DESC

这个查询仅会扫描系统元数据，耗时通常在1秒以内，也不会产生业务表的扫描费用。注意INFORMATION_SCHEMA.PARTITIONS的row_count是近实时统计值，通常有几分钟的延迟，如果需要完全精准的实时行数，再使用下面的方案2。

方案2：基于业务表的优化查询 #

如果你需要结合其他业务过滤条件做统计，可以用分区伪列_PARTITIONTIME替代原字段做截断分组，避免扫描全表的datetimecreated字段：

SELECT
  DATE(_PARTITIONTIME) AS 分区日期,
  COUNT(*) AS 当日行数
FROM
  `p.d.t`
WHERE
  datetimecreated > '2000-01-01'
GROUP BY
  1
ORDER BY
  1 DESC

这个方案的扫描量和耗时会远低于你原来的SQL，因为_PARTITIONTIME是分区级的伪列，BigQuery不需要逐行读取datetimecreated字段的值做聚合。

原查询耗时高的原因说明 #

你最初的SQL效率低，核心是BigQuery不会自动将字段分区表的「按分区分组统计行数」请求替换为元数据查询，必须显式查询INFORMATION_SCHEMA.PARTITIONS才能直接拿到预计算的分区行数。只有摄入时间分区表的_PARTITION_DATE分组查询会默认做这类优化，字段分区表需要手动用上述方案处理。

内容的提问来源于stack exchange，提问作者jamiet