如何将按月分区Hive表的近6个月数据加载到按周分区的Hive表

核心思路是同时利用两张表的分区字段做裁剪，避免全表扫描，提升加载性能：先通过源表的月分区过滤出近6个月的分区数据，再通过事件时间匹配目标表的周分区规则，精准写入对应周分区。

1. 源表月分区过滤逻辑 #

首先过滤源表的partition_month分区字段，只扫描近6个月的月分区，SQL条件如下：

partition_month >= date_format(add_months(current_date(), -6), 'yyyy-MM')

如果你的需求是取近6个完整自然月（不含当前月），可以调整为：

partition_month BETWEEN date_format(add_months(current_date(), -6), 'yyyy-MM') AND date_format(add_months(current_date(), -1), 'yyyy-MM')

2. 目标表周分区匹配逻辑 #

默认你的partition_week存储的是每周周一的日期（符合大部分企业周分区规则），可以通过event_column计算出对应的周分区值：

-- 计算事件时间所属周的周一日期，作为周分区值
date_sub(event_column, cast(date_format(event_column, 'u') as int) - 1) AS partition_week

如果你的partition_week存储的是每周周日的日期，调整计算逻辑即可：

date_add(event_column, 7 - cast(date_format(event_column, 'u') as int)) AS partition_week

完整加载SQL示例 #

INSERT OVERWRITE TABLE 目标表 PARTITION (partition_week)
SELECT
    -- 这里替换为你需要同步的其他字段
    event_column,
    date_sub(event_column, cast(date_format(event_column, 'u') as int) - 1) AS partition_week
FROM 源表
WHERE
    -- 源表月分区裁剪，仅扫描近6个月的分区
    partition_month >= date_format(add_months(current_date(), -6), 'yyyy-MM')
    -- 过滤脏数据：避免月分区中存在超出时间范围的异常数据
    AND event_column >= add_months(current_date(), -6)
    -- 目标表周分区过滤：仅写入近6个月对应的周分区
    AND date_sub(event_column, cast(date_format(event_column, 'u') as int) - 1) >= date_format(add_months(current_date(), -6), 'yyyy-MM-dd')

以上写法同时触发两张表的分区裁剪，不会扫描全表，执行效率远高于仅过滤事件时间的写法。

内容的提问来源于stack exchange，提问作者psreddyio