如何在Power BI中实现无重复增量刷新（无需全量刷新语义模型）

问题背景 #

我的SQL数据库中有如下表格，已导入Power BI并基于Last Update Date设置了2天窗口的增量刷新：

当前日期为2025年5月16日，我修改了第一条记录的内容及Last Update Date：

执行增量刷新后，语义模型中出现了主键为1的重复记录（旧记录+新记录），需要在不刷新整个语义模型的前提下解决这个问题，期望结果是只保留最新的记录：

解决方法 #

1. 启用增量刷新的「检测更改」功能（推荐）

这是Power BI原生解决增量刷新重复问题的方案，通过指定主键让系统自动替换同主键的旧记录：

• 打开Power BI Desktop，进入模型视图，选中目标表。
• 在右侧「属性」面板找到「增量刷新」设置，点击「编辑刷新策略」。
• 在弹出窗口中，除设置2天增量时间窗口外，勾选「检测更改」并选择Primary Key作为检测列。
• 保存设置后，下次增量刷新时，Power BI会自动用新数据中同主键的记录覆盖旧分区内的对应记录，避免重复。

2. 在Power Query中添加去重逻辑

如果无法启用「检测更改」，可在数据加载阶段通过Power Query筛选每个主键的最新记录：

1. 进入Power Query编辑器，选中目标表。
2. 点击「转换」→「分组依据」：
   • 分组列选择Primary Key，新列名输入最新记录，操作选择「所有行」。
3. 添加自定义列，公式为：Table.Max([最新记录], "Last Update Date")
4. 展开自定义列的所有字段，删除多余的分组列。
5. 保存并应用更改，之后每次增量刷新都会自动保留每个主键的最新记录。

3. 在SQL数据源层面过滤最新记录

修改Power BI的数据源查询，让增量刷新拉取数据时只返回指定窗口内的最新记录，示例SQL查询如下：

WITH RankedRecords AS (
    SELECT 
        [Primary Key],
        [Col B],
        [Last Update Date],
        -- 按主键分组，按更新日期倒序排名
        ROW_NUMBER() OVER (PARTITION BY [Primary Key] ORDER BY [Last Update Date] DESC) AS RecordRank
    FROM YourTableName
    WHERE [Last Update Date] >= DATEADD(DAY, -2, GETDATE()) -- 匹配2天增量窗口
)
SELECT [Primary Key], [Col B], [Last Update Date]
FROM RankedRecords
WHERE RecordRank = 1 -- 只保留每个主键的最新记录

将该查询作为Power BI数据源，配合现有增量刷新设置，可避免拉取重复的增量数据。

注意事项 #

• 方法1性能最优，优先使用；
• 方法2和3需确保逻辑覆盖所有场景，避免误删有效数据；
• 调整设置后，建议手动触发一次增量刷新验证结果。

内容的提问来源于stack exchange，提问作者E. L.