BigQuery：自定义日期列时间分区表求MAX(MyDate)的高效方法

为什么默认MAX(MyDate)会全表扫描 #

BigQuery的自定义时间分区表，不会像 ingestion-time 分区表那样自动在元数据中跟踪分区列的极值。所以执行MAX(MyDate)时，引擎无法直接定位最新分区，只能全表扫描所有数据。

三种优雅解决方法 #

• 方法1：缩小日期范围快速扫描
  利用分区表的过滤特性，先从最近的日期范围开始查询，比如先扫最近30天：

  SELECT MAX(MyDate)
  FROM `your-project.your-dataset.your-partitioned-table`
  WHERE MyDate >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
  

  若结果符合预期（是最新日期），则仅扫描了30天的分区数据；若结果更早，再逐步扩大范围（比如90天、180天）。这种方法适合数据持续按日期写入的场景，绝大多数情况只需扫描少量分区。

• 方法2：用物化视图维护极值
  若需要频繁查询MAX(MyDate)，创建物化视图自动维护这个值：

  CREATE MATERIALIZED VIEW `your-project.your-dataset.max_mydate_view`
  AS
  SELECT MAX(MyDate) AS latest_mydate
  FROM `your-project.your-dataset.your-partitioned-table`
  

  物化视图会随源表更新自动同步（可配置刷新频率），查询时只需读取极小的数据量：

  SELECT latest_mydate FROM `your-project.your-dataset.max_mydate_view`
  

  一次创建长期受益，用法和普通查询一样简单。

• 方法3：按写入规律指定分区查询
  如果数据是按日分区写入，且最新分区的日期可预测（比如当天或前一天），直接指定该日期查询：

  SELECT MAX(MyDate)
  FROM `your-project.your-dataset.your-partitioned-table`
  WHERE MyDate = CURRENT_DATE() -- 可根据实际写入逻辑调整为DATE_SUB(CURRENT_DATE(), INTERVAL 1 DAY)
  

  若当天有数据直接得到结果，无数据则退一步查询前一天。这种方法完全避免多余分区扫描，性能最优，但依赖数据写入的规律性。

注意 #

自定义分区表和 ingestion-time 分区表核心区别在于：后者的_PARTITIONTIME极值直接存储在元数据中，可快速获取；而自定义分区列的极值BigQuery不会自动跟踪，所以需要借助上述方法优化查询。

内容的提问来源于stack exchange，提问作者dheinz