如何利用DateModified实现Power BI增量加载并避免重复行？

会不会重复？ #

不会。你配置的增量加载仅针对最近90天内DateModified的数据执行删除重插操作，修改时间在100天前的行不在这个时间范围内，刷新过程中不会触碰这些历史数据，因此不会造成重复。

怎么处理潜在问题？ #

虽然不会直接重复，但要注意两类场景的应对：

• 确保增量过滤逻辑精准
  检查Power Query中的增量加载规则，确认是严格基于DateModified列筛选最近90天的数据，且历史数据（超过90天的）是一次性加载后不再重复扫描的，避免因规则错误导致历史数据被误处理。

• 应对历史数据的滞后更新
  如果存在100天前的行后续被修改，但DateModified未同步更新的情况，增量加载会漏掉这些变化，导致数据集与源数据不一致。解决方式：

  • 定期执行全量刷新（比如每月一次），兜底同步所有数据；
  • 要求源系统调整逻辑，只要数据有更新就同步更新DateModified列，让增量加载能捕获到所有变化。

• 添加重复防护机制
  给数据集设置唯一主键（比如业务ID列），在Power Query中添加Remove Duplicates步骤，基于主键去重，就算出现意外重复也能自动清理；
  优化增量加载逻辑：不要直接删除90天内的所有数据再重插，而是通过主键匹配，仅更新已存在的行、插入新行，减少误操作概率。

内容的提问来源于stack exchange，提问作者variable