基于同一张表的Incremental Refresh与Snapshot关联及配置问题问询

一、单个增量刷新查询方案（最优解） #

直接将两种状态的记录合并到一个查询中，通过PowerBI增量刷新参数实现「已完成记录冻结+未完成记录实时同步」的需求，同时解决重复数据和刷新频率问题。

1. 调整SQL查询（使用PowerBI增量刷新参数） #

SELECT 
    *
FROM 
    Table01 UF_Table
WHERE 
    -- 已变为DEPARTED的记录：基于TIME_COMPLETE做增量拉取，进入该状态后数据冻结
    (UF_Table.STATE = 'DEPARTED' AND UF_Table.TIME_COMPLETE > @RangeStart)
    -- 未变为DEPARTED的记录：每次刷新全量拉取，确保实时同步最新状态
    OR UF_Table.STATE != 'DEPARTED'

2. 增量刷新配置步骤 #

• 在PowerBI中选中该查询，启用增量刷新
• 设置存档策略：根据数据量设置存档阈值（例如将TIME_COMPLETE早于30天的记录存档），未DEPARTED的记录不会触发存档逻辑，每次刷新都会被拉取
• 设置刷新频率：按业务需求设置（例如每天刷新），无需设为5天以上。未DEPARTED的记录每次全量拉取，无论多久没变更都能获取最新数据；DEPARTED的记录仅拉取TIME_COMPLETE在@RangeStart之后的新数据，避免重复和大数据量

方案优势 #

• 彻底解决重复数据问题：无需关联两个表，不存在跨查询的KEY冲突
• 完美适配同步需求：无需拉长刷新周期，未DEPARTED记录每次全量同步，确保数据最新
• 模型简洁性能优：增量刷新自动优化DEPARTED记录的拉取逻辑，减少不必要的数据加载

二、双表关联方案（兼容现有结构） #

如果必须保留增量刷新表（IR）和快照表（SN）的分离结构，可通过以下方式解决问题：

1. 解决重复数据问题 #

• 确保两张表都包含唯一主键（例如单元ID）
• 在PowerBI的Power Query编辑器中执行合并查询：
  1. 选择两张表，以单元ID为合并键，选择「完全外部合并」
  2. 添加自定义列，优先保留IR表中已DEPARTED的记录，否则使用SN表的实时数据：

     if [IR_单元ID] <> null then [IR_所有字段] else [SN_所有字段]
     

  3. 展开自定义列，得到无重复的合并表

2. 解决久未变更记录的同步问题 #

• 保持SN表的全量刷新配置，刷新频率设为每天（无需超过5天）。每次刷新都会拉取所有未DEPARTED的记录，无论CHANGED_TIME是否有更新，确保数据实时同步

内容的提问来源于stack exchange，提问作者Wiesiek