如何在SQL中遍历分区、筛选指定周数据并创建新表

核心思路是先通过分区裁剪缩小扫描范围，再筛选目标事件数据——因为你的表按服务器接收时间的年、月、日分区，直接利用分区键过滤，能让引擎跳过无关分区，避免全表扫描，这是性能最优的关键。

以下是适用于Hive/Spark SQL等大数据SQL引擎的实现代码：

CREATE TABLE new_event_table
AS
SELECT *
FROM original_table
WHERE
  -- 限定服务器接收时间的分区范围：2021年6月至2022年6月
  (year = 2021 AND month >= '06')
  OR (year = 2022 AND month <= '06')
  -- 限定事件发生时间范围：2021年1月18日至1月24日
  AND event_timestamp BETWEEN '2021-01-18 00:00:00' AND '2021-01-24 23:59:59.999'

关键说明 #

1. 分区裁剪优先：直接用year和month过滤分区，引擎只会扫描2021年6月到2022年6月的分区，大幅减少IO开销，这比先筛选事件时间再过滤分区要高效得多。
2. 时间范围精准性：event_timestamp的结束时间设为2021-01-24 23:59:59.999，确保不会漏掉当天最后一刻的记录。
3. 适配数据类型：如果你的month列是数字类型（而非示例中的字符串），去掉引号即可，比如写成month >= 6。

如果需要自定义新表的存储格式、分区规则等，可在CREATE TABLE语句中添加对应配置，比如PARTITIONED BY (year string, month string, day string)。

内容的提问来源于stack exchange，提问作者AFS