如何在增量模型中连接分区事实表且避免数据丢失？

1. 基于关联键的分区预查询 #

先从过滤后的Table A中提取所有关联键（如event_b_id），再用这些键查询Table B，跳过对Table B的timestamp直接过滤：

-- 第一步：从目标分区的A表获取待关联的键集合
WITH filtered_a AS (
    SELECT event_a_id, event_b_id
    FROM Table_A
    WHERE timestamp = '2023-10-01'
)
-- 第二步：通过关联键拉取B表对应数据，避免时间过滤丢失记录
SELECT fa.event_a_id, fa.event_b_id, b.timestamp AS b_timestamp
FROM filtered_a fa
JOIN Table_B b ON fa.event_b_id = b.event_b_id;

这种方式既利用Table A的分区过滤减少数据量，又能确保获取所有关联的B表数据，不会遗漏b1这类跨时间分区的记录。

2. 扩展时间过滤范围（业务允许时） #

如果清楚A、B表事件的时间偏差规则，可以给Table B设置合理的时间区间过滤，比如假设B表事件不会比A表早超过1年：

SELECT a.event_a_id, a.event_b_id, b.timestamp AS b_timestamp
FROM Table_A a
JOIN Table_B b ON a.event_b_id = b.event_b_id
WHERE a.timestamp = '2023-10-01'
  AND b.timestamp >= DATE_SUB('2023-10-01', INTERVAL 1 YEAR);

这种方式既能缩小B表的查询范围，又能覆盖大部分跨分区关联数据，适合有明确时间偏差规律的场景。

3. 构建关联键-分区映射表 #

若跨分区关联是高频场景，可离线维护一张event_b_id与对应timestamp（分区键）的映射表，定期同步更新。查询时先通过映射表定位B表分区，再精准查询：

WITH filtered_a AS (
    SELECT event_a_id, event_b_id
    FROM Table_A
    WHERE timestamp = '2023-10-01'
),
b_partition_map AS (
    SELECT event_b_id, timestamp AS b_partition
    FROM event_b_partition_map
    WHERE event_b_id IN (SELECT event_b_id FROM filtered_a)
)
SELECT fa.event_a_id, fa.event_b_id, b.timestamp AS b_timestamp
FROM filtered_a fa
JOIN b_partition_map pm ON fa.event_b_id = pm.event_b_id
JOIN Table_B b ON fa.event_b_id = b.event_b_id AND b.timestamp = pm.b_partition;

该方式能最大化利用分区过滤特性，同时保证数据完整性，适合数据量极大且关联规则稳定的场景。

内容的提问来源于stack exchange，提问作者Raul de Queiroz