BigQuery查询优化：如何将1.52TB处理量降至GB级以降本？

• 利用分区表（Partitioned Tables）
  若当前表未分区，按高频过滤字段（如时间字段event_date、地域字段region）将表分区。查询时通过WHERE子句限定目标分区，仅扫描对应分区的数据，直接跳过无关分区，大幅降低扫描量。
  示例：创建分区表时指定PARTITION BY DATE(event_timestamp)，查询时添加WHERE event_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)

• 添加聚类字段（Clustered Tables）
  对查询中常用作过滤、分组、排序的字段（如user_id、product_category）设置聚类。BigQuery会按聚类字段组织数据块，查询时仅扫描匹配聚类键的相关数据块，避免全表扫描。
  示例：创建表时指定CLUSTER BY user_id, product_category，后续查询带这类字段的过滤条件时，扫描范围会显著缩小

• 严格投影过滤
  绝对避免使用SELECT *，只查询业务必需的字段。比如原查询选取20个字段，但实际仅需5个，可直接减少75%的数据扫描量。

• 使用物化视图（Materialized Views）
  针对重复执行的聚合类查询，创建物化视图预计算并存储结果。查询时直接读取物化视图，无需扫描原始大表。比如按天聚合用户行为数据，物化视图会存储每日聚合值，查询时仅扫描GB级的视图数据。

• 数据分层与归档
  将冷数据（如超过6个月的历史数据）归档到BigQuery冷存储层级，或导出到Cloud Storage归档。常规查询默认仅扫描热数据，必要时再关联冷数据，减少日常查询的扫描量。

• 预聚合汇总表
  定期运行离线任务，将大表的聚合结果存储到汇总表中。比如每日生成一张包含各维度汇总数据的小表，业务查询直接读取汇总表，无需扫描原始1.5TB级的明细数据。

• 优化JOIN逻辑
  避免大表与大表直接JOIN，先通过子查询或过滤条件缩小其中一张表的数据集，再进行JOIN操作。比如先筛选出目标用户的子集，再与行为表JOIN，减少JOIN过程中的数据扫描量。

内容的提问来源于stack exchange，提问作者Shubham Santoshwar