BigQuery时间单位列分区折叠（粒度调整）的优化方案问询

针对你提到的问题，BigQuery原生的分区合并（Partition Merging）功能是比生成额外分区列更优的方案，完全解决了原方案需同时指定两个列的痛点，操作和查询都更直观：

核心思路 #

直接基于原表的service_day日分区，将2018-01-01之前的所有日分区合并为月粒度分区，近期数据保留日分区。合并后查询时只需使用原有的service_day列过滤，BigQuery会自动识别合并后的分区，完全兼容原有查询逻辑，不需要修改应用代码。

具体操作步骤 #

1. 确认原表类型 #

确保你的service表是BigQuery的原生日期分区表（即通过PARTITION BY DATE(service_day)创建的分区表，而非自定义分区表）。

2. 单月分区合并示例 #

执行以下SQL合并单个月份的所有日分区：

ALTER TABLE `你的项目ID.你的数据集ID.service`
MERGE PARTITIONS
FROM DATE('2017-12-01') TO DATE('2017-12-31')
INTO DATE('2017-12-01');

这条语句会把2017年12月的所有日分区合并成一个以2017-12-01为标识的月分区。

3. 批量合并所有历史月份 #

如果需要合并的月份很多，可以用以下SQL批量生成合并语句，再批量执行：

SELECT CONCAT(
  'ALTER TABLE `你的项目ID.你的数据集ID.service` MERGE PARTITIONS FROM DATE(\'', 
  FORMAT_DATE('%Y-%m-01', month_start), 
  '\') TO DATE(\'', 
  LAST_DAY(month_start), 
  '\') INTO DATE(\'', 
  FORMAT_DATE('%Y-%m-01', month_start), 
  '\');'
) AS merge_sql
FROM UNNEST(GENERATE_DATE_ARRAY('2010-01-01', '2017-12-01', INTERVAL 1 MONTH)) AS month_start;

将2010-01-01替换为你的数据起始月份，执行后会生成每个历史月份的合并SQL，复制这些语句批量执行即可。

注意事项 #

• 分区合并操作不可逆，执行前务必做好数据备份。
• 合并操作会占用一定的计算资源，建议在业务低峰期执行。
• 合并完成后，查询service_day < '2018-01-01'的数据时，BigQuery会直接扫描合并后的月分区，相比原方案减少了分区扫描数量，性能更优。

内容的提问来源于stack exchange，提问作者Katherine Chen