Power BI中基于modified date的增量刷新及增删改处理方案问询

核心问题解答 #

• 能否基于modified date配置增量刷新？
  可以。原生增量刷新支持绑定modified date作为筛选字段，配置时需在刷新策略中设置增量范围（如最近7天）和存档范围，同时确保数据源的modified date字段能准确记录数据的修改时间，且查询能基于该字段高效筛选。

• 源数据修改后，增量加载能否同步更新模型旧记录？
  原生增量刷新不会主动删除旧记录，但会通过主键匹配覆盖的方式更新。若表有唯一主键（如业务ID），当增量拉取到modified date在范围内的更新记录时，Power BI会用新数据替换模型中同主键的旧记录，实现修改同步。无主键时需在Power Query中提前处理去重，避免重复记录。

• 源数据记录被删除时如何处理？
  原生增量刷新不支持自动检测并删除模型中已删除的源数据记录，因为增量逻辑仅拉取新增/修改数据，不会做全量主键对比。

替代方案（无需全量导入） #

• 定期全量刷新历史分区
  日常用增量刷新处理最近N天的数据，每周/每月对超出增量范围的历史数据执行一次全量刷新，平衡刷新效率与数据准确性。频率可根据业务对数据延迟的容忍度调整。

• 自定义Power Query增量逻辑

  1. 模型中维护记录的主键列表，每次刷新时拉取源数据的最新主键集和modified date在增量范围内的记录。
  2. 对比源数据与模型的主键，筛选出模型中存在但源数据已删除的ID，从模型中删除对应行。
  3. 用新增/修改的记录覆盖模型中的旧数据。
     这种方式需要编写M代码实现，适合对数据一致性要求高的场景。

• DirectQuery模式
  若数据源性能足够，切换为DirectQuery模式，直接实时读取源数据的最新状态，无需缓存刷新，但会增加数据源的查询负载。

内容的提问来源于stack exchange，提问作者variable